大 数据 和 物 联 网 创业 的 时 机 已 经 越 来 越 成 束 ， 大 数据 相 天 技术 也 呈现 出 贬值 效应 ， 但 这 里 说 的 凤 值 不 是 指 不 去 钻研 市 来 的 沙 
后 ,而 是 拉 术 不 天成 为 这 个 行业 的 独门 利器 。 成 熟 的 技术 和 方案 已 经 降低 了 这 个 行业 的 准 入 门槛 ， 我 们 要 做 的 就 是 赶 泽 抓 住 机 会 
切入 互联 网 创业 的 下 半 场 。 


如 果 互 联网 的 上 半 场 是 基于 人 口红 利和 流量 红利 在 广度 上 进行 扩展 ， 那 么 下 半 场 束 应 该 将 焦点 放 在 深度 扩展 上 。 在 面 对 业 务 
去 寻找 解决 方案 的 时 候 ， 我 们 本 质 上 要 做 的 应 该 是 理解 问题 、 提 出 问题 ， 这 是 最 难 的 事情 ， 因 为 只 有 好 的 问题 才能 找到 好 的 答 
案 ， 然 后 才 是 如 何 用 数据 来 实现 解决 问题 的 路 径 。 所 以 学 会 如 何 分析 和 利用 大 数据 对 业务 产生 帮助 才 是 关键 ， 也 就 是 说 ， 要 想 提 
出 好 问题 是 非常 困难 的 ， 通 俗 点 讲 束 是 要 学 会 化 繁 为 们 。 


在 物 联网 行业 中 ， 数 据 扮演 的 角色 是 推动 服务 和 功能 ， 提 供 判 断 和 解决 问题 的 支撑 。 工 业 互联 网 对 数据 的 低 容 错 性 和 高 实时 
性 要 求 ， 让 数据 的 价值 拥有 短期 和 长 期 乙 分 。 短 期 来 讲 ， 数 据 给 予 了 最 传统 的 统计 和 分 析 价 值 ， 比 如 基于 单 变 量 的 摘 述 性 分 析 和 
多 维度 的 分 类 聚合 应 用 ， 在 同方 云 我 们 常 将 这 类 数据 应 用 于 一 些 大 型 濠 备 的 维 保 支 撑 ， 开 发 的 远程 诊断 工具 提高 了 过 程控 制 的 效 
率 。 但 大 数据 真正 的 价值 友 挥 还 需要 更 大 的 能 量 ， 积 囚 的 越 多 ， 可 以 挖掘 的 价值 才 越 大 ， 只 有 通过 长 期 地 反复 尝试 和 对 目标 问题 
的 调整 ， 才 能 友 现 业务 友 展 的 规律 ， 让 数据 在 未 来 的 预测 上 友 挥 其 长 期 价值 。 所 以 团队 中 我 们 党 说 的 一 句 话 ， 束 是 “大 数据 不 是 
告诉 你 1000 台 风机 在 做 什么 ， 而 是 应 该 告诉 你 第 1001 人 台风 机 在 哪里 ”。 


因此 ， 大 数据 真正 的 机 会 是 学 会 如 何 分 析 和 使 用 数据 ， 让 其 释放 和 体现 目 身 的 价值 ， 而 不 是 因为 用 了 多 么 先进 的 技术 和 复杂 
的 算法 ， 才 能 友 挥 它 的 价值 。 我 的 统计 学 老师 曾 告诉 我 : “事物 友 展 育 后 的 逻辑 永远 是 最 简单 的 ， 统 计 学 友 展 这 么 多 年 ， 融 没有 
出 现 过 复杂 算法 战胜 了 简单 算法 ， 没 有 简单 的 模型 融 没 有 复杂 的 模型 ， 由 大 到 小 ， 才 是 分 治 递 归 的 基础 。“ 


所 以 本 书 最 好 的 一 点 ， 融 是 用 最 简单 的 语言 把 问题 进 清 和 花 ， 帮 助 你 理解 并 学 会 使 用 storm 来 辅助 解决 实际 中 遇 到 的 问题 ， 基 
于 详尽 的 案例 讲解 ， 履 蓄 Storm 最 有 效 的 应 用 场景 ， 支 撑 你 在 选 型 上 做 出 合理 的 判断 。 以 授 之 以 渔 的 方式 ， 让 你 在 技术 与 业务 之 
间 洲 轧 有 余 ， 将 更 多 的 精力 放 在 问题 定义 和 数据 分 析 上 。 本 书 倡 导 的 束 是 要 学 会 以 “What” 而 不 是 “How” 的 策略 来 思考 问 
题 ， 把 那些 计算 和 处 理 的 过 程 都 交 给 Storm 来 代劳 吧 ! 


感谢 机 械 工业 出 版 社 华章 公司 的 副 忌 编 杨 福 川 先生 对 本 书 的 高 度 重 视 ， 感 谢 责编 王 春 华 和 唐 晓 琳 老师 的 日 夜 工 作 ， 提 高 了 本 
译 著 的 整体 翻译 质量 ， 本 书 出 版 过 程 中 参与 服务 的 还 有 多 位 台 前 幕后 的 工作 人 员 ， 对 此 予以 特别 感谢 ! 


感谢 和 我 一 同 翻译 本 书 的 歼 成 志 先 生 ， 他 对 技术 的 热爱 和 严谨 支撑 了 本 书 的 专业 性 ， 也 很 采 斑 能 和 他 一 起 共事 。 感 谢 我 的 妻 
子 李 洁 ， 在 过 去 的 几 个 月 中 支持 我 的 翻译 工作 ， 帮 助 我 完成 了 大 量 的 审阅 工作 ， 还 有 在 此 期 间 出 生 的 可 爱 女 儿 雪 桐 ， 感 谢 她 活泼 
可 爱 的 笑容 ,消除 了 我 一 切 的 疲惫 。 感 谢 父 母 家 人 对 我 的 敦 励 ， 感 谢 同 方 云 计算 的 领导 对 我 的 信任 ,感谢 我 的 团队 陪 我 一 起 度 过 
多 少 次 不 知 日 天 与 黑夜 的 攻 天 和 /中 刺 ! 

虽然 我 已 经 竭尽 全 力 尽 量 准确 地 增 述 书 中 的 技术 要 点 ， 也 进行 了 多 轮 的 审 校 和 通读 ， 但 仍 难免 有 下 漏 之 处 ， 如 读者 友 现 任何 
不 理想 之 处 ， 望 能 不 将 赐教 。 


罗 聪 辟 
2017 年 8 月 成 都 


2016 年 我 主导 了 一 个 物 联网 项 目 : 重型 采矿 设 备 的 实时 监控 系统 ， 需 要 对 工业 流 数 据 进行 实时 处 理 ， 主 要 是 对 大 型 设备 的 
各 项 状态 数据 进行 过 滤 以 及 计算 。 设 计 之 初 我 选择 使 用 Kafka 作 为 数据 总 线 ， 并 用 Kafka 的 消费 接口 直接 订阅 消息 完成 计算 处 


理 。 最 开始 的 时 候 由 于 单机 数据 量 比较 小 ， 并 且 只 接 入 了 几 十 台 设 备 ， 业 务 逻 辑 也 相对 简单 ， 只 是 简单 的 状态 监控 ， 一 切 计算 都 
处 理 得 称心 得 手 ， 系 统 状 态 表现 得 非 党 恨 好 稳定 。 


不 过 随 着 业务 的 友 展 ， 接 入 设备 量 越 来 越 多 ， 上 监控 点 位 增多 以 及 监控 频次 的 需求 提升 ， 数 据 量 越 来 越 大 ， 业 务 逻 辑 也 开始 越 
来 越 复杂 ， 而 此 时 我 们 才 意 识 到 当初 低估 了 这 些 重型 工业 设备 ! 整个 系统 的 并 发 性 能 出 现 了 严重 的 问题 ， 并 且 代 码 也 越 来 越 难 以 
维护 ， 必 须 将 整个 系统 进行 重 构 。 


在 做 方案 调研 时 ， 复 盘 了 之 前 流 数 据 在 实际 业务 中 市 来 的 压力 和 困难 ， 我 决定 重新 选择 一 个 实时 流 处 理 框 架 ， 并 且 要 求 在 重 
构 结 束 后 能 保证 业务 的 平滑 迁移 。 这 时 市 面 上 可 供 选 择 的 实时 计算 框架 已 经 有 很 多 种 了 ， 经 过 初步 调研 友 现 ，Storm 提 供 的 功能 
应 该 正 是 我 所 需要 的 : 一 个 可 扩展 的 高 性 能 流 式 处 理 框 染 ! 


在 重 构 期 间 ， 我 从 公司 的 书架 上 翻 到 了 本 书 的 原版 有 文书， 阅读 之 后 友 现 ， 其 从 实际 案例 出 友 ， 由 人 简 到 繁 ， 了 逐步 深入 和 清晰 
地 讲解 了 Storm 的 相关 概念 ， 以 及 如 何 有 效 地 借助 Storm 解 决 现实 中 的 问题 。 书 中 的 案例 帮助 我 快速 地 理解 了 Storm 的 各 个 技术 
要 后， 而 且 恰 好 还 解决 了 当时 遇 到 的 一 些 实际 问题 。 在 这 本 书 的 帮助 下 ， 团 队 顺 利 完成 了 整个 系统 的 重 构 工作 ， 到 目前 为 止 , 系 
统 的 性 能 与 稳定 性 还 没有 上 友 现 大 大 的 问题 ， 达 到 了 重 构 的 预期 效果 。 所 以 当 好 友 罗 职 翼 邀请 我 一 同 参与 本 书 的 翻译 工作 时 ， 我 义 
不 容 辞 地 答应 了 他 ! 


如 果 你 乞 放 下 本 书 ， 退 远 一 步 以 上 珊 视 角 来 看 目前 的 计算 机 应 用 ， 融 会 友 现 大 数据 在 整个 信息 扩 林 中 其 实 赵 来 越 抢 
腿 ，Storm 已 经 成 为 主流 的 流 式 数 据 处 理 技术 之 一 ， 但 几 一 提 到 ) 流 式 处 理 ， 大 家 都 会 想到 Storm.。 


所 以 为 了 让 读者 更 容易 跟 上 技术 的 友 展 潮流 ， 本 书 尽 可 能 采取 通俗 易 懂 的 方式 ， 不 讲 高 深 的 概念 ， 从 实际 例子 出 友 ， 逐 步 加 
深 你 对 Storm 的 理解 。 正 是 如 此 ， 每 读 完 一 草 你 都 能 更 进一步 认识 Storm 的 各 项 拉 术 要 点 ， 逐 步 学 会 如 何 使 用 Storm 解 决 实际 问 
题 。 当 完成 整 本 书 的 阅读 后 ， 你 束 应 该 能 够 解决 足够 复杂 的 流 式 计算 相关 问题 了 。 


另外 ， 本 书 还 结合 了 代码 驱动 的 学 习 方 法 ， 对 Storm 技 术 进 行 了 操作 讲解 ， 从 最 开始 的 概念 到 后 面 的 案例 解析 ， 都 是 逐步 展 
开 的 ， 让 读者 在 循序 渐进 的 实际 操作 中 巩固 知识 点 ， 哪 怕 你 从 来 都 没有 接触 过 流 式 处 理 ， 也 能 在 练习 中 逐步 掌握 Storm 的 相关 知 
识 。 所 以 建议 对 于 没有 接触 过 Storm 的 读者 ,一 定 要 从 第 1 草 开始 顺序 学 习 ， 并 对 每 段 代 码 都 要 运行 一 次 ， 干 万 别 跳 过 这 些 步 


又 |! 


在 此 我 要 特别 感谢 我 的 这 位 朋友 ， 也 束 是 本 书 另 外 一 位 译 者 罗 聪 四， 感谢 他 邀请 我 一 起 参与 本 书 的 翻译 工作 。 我 在 翻译 过 程 
中 由 于 各 种 原因 曾 多 次 想 放 茎 ， 正 因为 他 的 鼓励 和 支持 ， 我 才能 完成 全 部 的 翻译 工作 。 


污 


La 
ANA 


2017 年 8 月 


“ 重 写 后 端 真 是 太 难 了 ! “ 


就 从 这 说 起 吧 ， 听 到 我 那 位 聪明 靠 谱 的 同事 Keith Bourgoin 发 出 的 抱怨 ， 而 我 俩 已 经 在 Parse.ly 的 分 析 后 台 上 忙活 一 年 多 
了 ， 我 们 称呼 这 个 系统 叫 “PTrack” 。 


Parse.ly 使 用 Python 来 构建 ， 所 以 我 们 在 设计 系统 时 ， 可 以 很 轻松 地 使 用 一 些 社 区 中 常用 的 分 布 式 计 算 工 具 ， 例 如 
Multiprocessing 和 Celery。 尽 管 我 们 很 熟悉 这 些 工具 ， 但 实际 上 每 3 个 月 ， 数 据 量 都 会 翻 倍 ， 而 我 们 不 得 不 在 各 系统 间 突 破 狐 
颈 ， 这 里 必须 想 点 其 他 办 法 了 。 


于 是 ， 我 们 非常 小 心地 对 后 端 做 了 重 写 ， 使 用 轻 量 级 Python 进程 来 处 理 数 据 ， 而 进程 间 使 用 ZeroMQ 通 信 。 鉴 于 Python 语 
言 的 创造 者 将 下 一 代 语 言 命名 为 “Python3000” ， 我 们 戏称 新 系统 为 “PTrack3000” ， 即 使 大 家 还 不 清楚 这 个 新 系统 是 否 真 
的 可 以 解决 之 前 的 问题 。 


基于 ZeroMQ， 我 们 认为 它 可 以 在 每 秒 中 交换 更 多 的 消息 至 各 进程 中 ， 还 可 以 确保 系统 间 的 运行 更 轻 量 。 整 个 设计 确实 赢得 
了 运行 性 能 和 效率 ， 却 在 数据 的 稳定 性 上 出 现 了 问题 。 


而 此 时 一 件 有 意思 的 事件 出 现 了 ， 我 们 一 直 在 公开 市 场 中 跟 进 的 初创 项 目 BackTypel | 被 Twitter 收购 了 ， 而 它 被 收购 后 的 第 
一 件 事 ， 融 是 将 其 济 处 理 架 构 Storm 正 式 对 外 友 布 。 


我 和 Keith 仔 细 研 究 了 相 天 文档 和 代码 ， 友 现 Storm 正 是 我 们 想 要 的 解决 方案 |! 


它 也 在 内 部 使 用 到 了 ZeroMQ， 可 以 分 别 和 其 他 工具 去 加 ， 共 同 组 成 并 行 处 理 运 算 ， 简 化 了 整个 操作 ， 并 提供 了 更 清晰 可 靠 
的 数据 模型 。 尽 管 它 是 用 Java 写 的 ， 但 文档 中 还 是 给 出 了 大 量 其 他 语言 的 沁 例 ， 以 便 文 撑 与 框架 间 的 兼容 应 用 ， 例 如 Python。 
就 这 样 ， 我 们 很 快 就 实现 了 基于 Storm 的 Parse.ly 数 据 分 析 后 台 改 造 ， 并 命名 为 “PTrack9000! ”。 


那 时 Storm 的 原作 者 Nathan Marz 也 花 了 大 量 的 时 间 去 维护 技术 社区 ， 包 括 参与 各 交流 会 、 维 护 博客 和 用 户 论坛 四。 在 早 
期 阶段 ，Storm 的 相关 资料 十 分 稀缺 ， 你 不 得 不 在 每 个 网 站 中 去 一 点 点 地 探索 和 整理 思路 。 


我 真希 望 在 2011 年 就 能 看 到 类 似 你 手 上 这 本 书 ， 尽 管 当时 Storm 的 文档 已 经 十 分 完善 ， 但 还 是 缺乏 实用 类 的 案例 ， 特 别 是 
与 生产 实施 相关 。 接 下 来 的 3 年 里 ， 尽 管 Storm 在 技术 圈 内 十 分 热门 ， 但 直到 2014 年 年 底 ， 市 面 上 依然 缺少 一 本 实用 类 书籍 ! 


一 直 没有 人 人 花 精 力 去 整理 Storm 的 组 件 应 用 细节 ，storm 的 代码 逻辑 ， 如 何 优化 拓扑 性 能 ， 以 及 如 何在 生产 环境 中 部 署 这 些 
集群 。 现 在 ，Sean、Matthew 和 Peter 一 起 合作 完成 的 这 本 书 ， 融 将 他 们 过 去 在 TheLadders 的 项 目 实践 经 验 都 整理 归纳 出 来 ， 
并 完整 呈现 。 这 无 疑 是 一 本 指导 Storm 用 户 实践 应 用 的 权威 指南 ! 


他 们 的 表述 清晰 简洁 ， 并 配 上 大 量 图 例 况 明 ， 还 附 市 了 应 用 代码 演示 ， 你 可 以 在 短 时 间 内 学 到 我 们 团队 过 去 伦 了 多 年 才 总 结 
出 来 的 Storm 知 识 精华 ， 这 不 仅 省 掉 了 你 大 量 花 在 摸索 上 的 时 | 介 ， 还 避免 了 你 一 个 人 独自 在 电脑 面前 ， 被 重 构 代码 中 的 各 种 问题 
反复 折磨。 


我 相信 在 完整 学 习 本 书 之 后， 如 果 你 同事 再 跟 你 进 “ 重 写 后 端 真是 大 难 了 ”的 时 候 ， 你 可 以 目 信 地 告诉 他 : “这 次 绝对 不 


会 ! 
侣 阅读 愉快 ! 
Andrew Montalenti 
Parse.ly 联 合 创始 人 &amp; 首 席 技 术 官 中 
适用 于 Storm 的 Python 包 streamparse 的 创建 者 中 
[1] 在 Storm 发 布 之 前 ， 我 的 团队 发 表 了 文章 “ BackType 数据 工程 师 的 秘密 ” (2011 年 ) : 


http:/ /teadwtite.com/2011/01/12/sectets-of-backtypes-data-enpineetrs, 


D] Nathan Marz 在 他 的 博客 上 写 下 文章 “ Apache ”Storm ”的 过 去 和 反思 (2014 年) ”， 描 述 他 的 布道 之 路 : 


http:/ /nathanmarz.com/blog/history-of-apache-storm-and-lessons-learned.html。 
[3] Parse.ly 应 用 于 数字 可 视 化 的 网 页 版 分 析 系 统 基于 Storm 构建 : http://patse.ly。 
[4] 要 在 Storm 上 使 用 Python， 你 可 以 在 Github 上 参考 项 目 streamparse: https://github.com/Parsely/sttreampatse 


在 TheLadders， 我 们 从 Storm 刚 | 发布 时 残 开 始 使 用 ( 那 时 的 版 本 号 还 是 0.5.x) 。 刚 开始 ， 我 们 只 在 一 些 非 天 键 的 业务 流程 
续 运 行 的 状态 ， 且 十 分 稳定 。 正 因为 没 出 过 什么 问题 ， 所 


上 部 署 Storm， 在 很 长 的 一 段 时 间 里 ， 我 们 的 storm 集群 都 一 直 处 于 
以 我 们 也 没 伦 太 多 的 心思 在 上 面 。 直 到 需要 应 对 更 多 业务 时 ， 我 们 意识 到 Storm 刚 好 是 最 合适 的 解决 方案 ， 可 结果 在 实施 的 过 程 
守 ， 缺 乏 对 底层 运行 原理 的 充分 认 知 ， 不 断 寻 找 优化 性 


中 暴露 出 了 各 种 各 样 的 问题 。 例 如 ， 我 们 需要 在 生产 环境 中 去 应 对 资源 争夺 
运行 状态 监控 ， 等 等 
多 次 


能 的 次 优 方案 ， 面 临 缺 少 可 视 化 的 系统 
佳 实践 ”， 并 且 我 们 还 增加 了 自 定义 的 监控 系 


这 促使 我 们 花费 大 量 的 时 间 和 精力 去 研究 本 书 中 即将 呈现 的 内 容 。 在 学 习 理 解 storm 的 过 程 中 ， 我 们 六 了 所 有 可 找 得 


过 但 


上 一 | 
总 结 “ 最 


[ss 


到 的 文档 ， 深 入 研究 相关 源 代码 ， 整 理 最 适合 的 Storm 解 决 方案 ,不 断 
， 指 导 使 用 Storm 的 实践 应 


统 ， 便 于 更 有 效 地 排查 故障 和 优化 方案 。 
你 可 以 在 网 上 轻松 查 到 有 关 Storm 的 原理 文档 ， 但 我 们 友 现 ， 市 面 上 依然 缺少 可 以 基于 生产 环境 


用 文档 。 我 们 为 此 在 博客 上 撰写 了 大 量 有 关 storm 的 使 用 经 验 ， 所 以 当 Manning 找 到 我 们 希望 合作 一 本 Storm 书籍 时 ， 大 家 一 
可 以 帮助 大 家 少 走 我 们 曾 走 过 的 弯路 ， 避 开 一 些 我 们 曾 踩 过 的 坑 。 


PAY 光 < 雍 
理 ， 逢 诗 


拍 即 合 。 我 们 有 太 多 的 知识 想 和 大 家 一 起 分 享 
虽然 我 们 分 享 出 来 的 内 容 主 要 是 基于 在 生产 环境 中 ， 如 何 对 Storm 集 群 做 优化 、 调 试 和 故障 排查 ， 但 我 们 更 希望 强调 这 里 对 


Storm 原理 所 需要 的 深入 理解 ， 同 时 展示 出 storm 的 灵活 性 和 广泛 适用 性 ， 即 使 我 们 仪 能 代表 众多 使 用 Storm 公司 中 的 一 员 。 
在 本 书 中 ， 我 们 将 尽 可 能 演示 基于 Storm 下 不 同类 型 的 应 用 案例 ， 讲 解 storm 的 核心 概念 ， 以 便 更 容易 理解 如 何在 生产 环境 
中 执行 优化 、 调 试 和 故障 排查 。 和 希望 这 种 形式 能 适用 于 不 同 层次 的 读者 ， 无 论 是 刚 接 触 storm 的 新 人 ， 还 是 拥有 丰富 经 验 而 且 遇 


到 过 和 我 们 有 相似 经 历 的 开发 者 。 
本 书 绝对 是 一 个 团队 协作 的 结晶 ， 无 论 是 来 目 Manning 的 伙伴 ， 还 是 来 目 TheLadders 的 同事 ， 大 家 都 从 最 开始 残 尽 可 能 地 


支持 我 们 ， 耐 心地 协助 我 们 完成 测试 和 验证 所 有 想法 。 
无 论 你 的 storm 使 用 经 验 处 于 什么 样 的 层次 ， 都 希望 本 书 能 对 你 有 所 帮助 ， 我 们 也 很 享受 撰写 本 书 的 过 程 ， 因 为 每 一 天 我 们 


都 学 到 了 更 多 关于 Storm 的 知识 。 
致谢 
感谢 TheLadders 所 有 为 我 们 提供 有 反馈 和 支持 的 同事 ， 无 论 如 何 ， 这 都 是 一 本 属于 集体 的 书 ， 指 导 着 我 们 在 集群 上 实现 更 多 


更 酷 的 功能 。 


也 感谢 来 目 Manning 并 为 本 书 撰写 提供 大 量 帮助 的 伙伴 ， 这 是 一 个 很 棒 的 团队 ， 在 合作 期 间 我 们 从 他 们 身上 学 到 了 很 多 关 
于 写作 的 知识 。 特 别 感谢 编辑 Dan Maharry， 从 第 1 章 开始 一 直到 最 后 一 草 完成 ， 他 为 第 一 次 写 书 的 我 们 提供 了 大 量 的 帮助 ， 指 
导 我 们 在 错误 和 挫折 中 成 长 。 


感谢 所 有 参与 本 书 的 拉 术 审 校 人 员 ， 感 谢 他 们 贡献 了 自己 私人 的 时 间 来 核实 书 中 的 各 技术 要 点 : Antonios 
Tsaltas, Eugene Dvorkin, Gavin Whyte, Gianluca Righetto, loamis Polyzos, John Guthrie, Jon Miller, Kasper 
Madsen, Lars Francke, Lokesh Kumar, Lorcon Coyle, Mahmoud Alnahlawi, Massimo llario, Michael 
Noll, Muthusamy Manigandan, Rodrigo Abreau，Romit Singhai, Satish Devarapalli, Shay Elkin, Sorbo Bagchi 以 及 
Tanguy Leroux。 其 中 我 要 着 重 感 谢 Michael Rose， 感 谢 他 为 本 书 提 供 了 大 量 高 质量 的 反馈 ， 可 以 说 是 本 书 最 重要 的 技术 审 校 
人 


al 


感谢 那些 创造 了 storm 的 人 ， 没 有 他 们 ， 我 们 融 不 会 有 日 夜 奋斗 的 理由 ! 我 们 还 会 坚持 使 用 Storm， 也 期 待 未 来 Storm 可 以 
市 来 更 新 的 改进 。 


感谢 Andrew Montalenti 在 我 们 早期 手稿 中 提供 的 反馈 ， 这 给 了 我 们 很 大 的 启发 ， 并 支撑 我 们 完成 了 本 书 ， 他 写 的 推荐 序 
也 很 棒 ， 我 们 没 办 法 要 求 更 多 了 。 

最 后 还 要 感谢 Eleanor Roosevelt， 她 那 句 和 被 大 量 错误 引用 的 励志 名 言 “美国 在 哪里 都 讲 速 度 ， 爆 热 、 上 肝脏 、 苇 是 生 非 的 速 
度 ”， 鼓 舞 着 我 们 在 困难 中 前 进 ， 持 续 地 学 习 Storm。 


我 们 在 看 颁奖 仪式 时 学 到 的 一 件 事情 ， 就 是 一 定 要 感谢 一 路 走 来 帮助 我 们 的 每 一 个 人 。 
Sean Allen 


感谢 Chas Emerick， 如 果 不 是 因为 和 他 激烈 的 和 争论， 我 可 能 根本 不 会 下 决心 来 写 一 本 书 ， 如 果 没 有 他 的 付出 ， 可 能 融 不 会 
有 人 有 机 会 读 到 这 本 书 了 。Sstephanie， 感 谢 他 在 我 每 次 都 想 放 弃 的 时 候 喜 励 我 坚持 下 去 。Kathy Sierra， 感 谢 他 在 Twitter 上 和 
我 沟通 ， 让 我 能 梳理 清晰 写作 的 思路 。 感 谢 Matt Chesler 和 Doug Grove， 他 们 帮助 纠正 了 第 7 章 的 写作 方向 。 感 谢 在 
TheLadders 同 我 咨询 问题 的 伙伴 ， 是 他 们 帮助 我 完成 了 第 8 章 。 感 谢 Tom Santero， 帮 有 我 审阅 了 我 在 分 布 式 系统 上 的 一 些 细 
五 。 感 谢 Matt， 帮 我 做 了 大 量 写 书 期 间 必 须要 做 但 我 又 不 想 做 的 事情 。 


Matthew Jankowski 
首先 感谢 我 的 妻子 Megan， 她 是 我 永恒 的 动力 来 源 ， 无 论 写 书 会 占用 多 少时 间 ， 她 都 表现 出 无 限 的 耐心 ， 给 予 我 坚定 的 文 
持 。 可 以 说 没有 她 ， 我 是 无 法 完成 本 书 的 。 还 有 我 的 女儿 Rylan ， 感 谢 她 出 生 在 写作 的 这 段 时 间 里 ， 她 给 了 我 很 大 的 启迪 ， 也 许 


她 到 现在 还 根本 没 意 识 到 吧 。 感 谢 我 的 家 人 、 朋 友和 同事 ， 感 谢 他 们 的 无 限 支持 和 建议 。 感 谢 Sean 和 Peter 在 刚 开始 听 到 这 个 想 
法 后 ， 融 愿意 一 起 参与 到 本 书 的 创作 ， 这 的 确 是 一 段 漫 长 的 经 历 ， 感 谢 有 他 们 一 起 一 路 走 来 。 


天 于 本 书 


大 数据 的 概念 日 趋 流行 ， 能 用 于 处 理 实时 流 数 据 的 工具 显得 尤其 重要 ，Apache Storm 就 是 这 样 一 个 能 处 理 无 限 流 数 据 的 工 


本 书 不 仅 供 新 手 入 门 ， 也 不 只 针对 高 阶 学 习 。 尽 省 理解 大 数据 技术 以 及 分 布 式 系统 可 以 帮助 阅读 ， 但 我 们 并 不 希望 这 是 作为 
阅读 本 书 的 前 提 条 件 。 我 们 尽 可 能 尝试 迎合 新 人 或 是 熟悉 该 领域 的 读者 ， 本 书 最 初 的 目的 就 在 于 呈现 如 何在 生产 环境 中 应 用 
Storm 的 “最 佳 实践 ”， 但 为 了 更 深刻 地 了 解 Storm 的 应 用 ， 一些 基础 知识 还 是 有 必要 预习 的 ， 所 以 我 们 希望 本 书 的 内 容 可 以 面 
同 不 同 经 验 层 次 的 工程 师 。 


如 果 你 是 刚 开始 学 习 Storm 的 新 人 ， 那 么 我 们 建议 先 阅读 第 1 ~ 4 章 ， 并 且 确 保 要 全 面 理 解 ， 因 为 这 几 章 包含 了 后 面 所 需要 的 
全 部 基础 概念 知识 。 如 果 你 是 有 Storm 应 用 经 验 的 读者 ， 那 希望 后 面 的 章节 会 对 你 们 更 有 帮助 。 总 乙 ， 设 计 开 友基 于 storm 的 解 
决 万 案 仅 仪 是 个 开始 ， 在 生产 环境 中 实 跤 这 些 方 案 才 是 我 们 需要 在 Storm 上 思考 的 重点 。 


本 书 的 另外 一 个 目的 就 是 希望 尽 可 能 描述 storm 的 应 用 领域 ， 基 于 此 我 们 选择 了 一 些 典型 的 用 户 场景 ， 希 望 对 于 理解 未 履 盖 
到 的 用 户 场景 可 以 起 到 举一反三 的 作用 。 我 们 在 选择 用 户 场景 的 时 候 也 做 了 不 同 难度 的 区 分 ， 希 望 至 少 能 有 一 种 可 以 适用 于 你 当 
前 正在 使 用 的 storm 场景 。 


本 书目 在 关注 storm 的 运行 方式 ， 而 我 们 意识 到 storm 需要 和 许多 不 同 的 技术 一 起 使 用 ， 包 括 不 同 的 消息 队列 实现 以 及 数据 
库 操作 实现 等 ， 所 以 在 讲解 每 种 用 户 场景 的 时 候 ， 我 们 会 很 谨慎 地 选择 使 用 到 的 技术 。 我 们 不 希望 花 太 多 精力 在 技术 选 型 上 ， 从 
而 忽视 了 Storm 使 用 上 的 重点 讲解 ， 所 以 你 看 到 的 每 一 个 演示 都 默认 使 用 的 是 Java 语 言 。 如 果 将 案例 中 的 应 用 切换 到 使 用 另外 一 
门 语言 ， 这 么 做 其 实 很 容易 ， 但 我 们 还 是 希望 明确 一 点 ， 那 残 是 本 书 的 核心 讲解 并 不 在 这 些 上 面 (事实 上 ， 我 们 在 自己 写 的 拍 扑 
上 大 量 使 用 了 Scala) 。 


路 线 图 


第 1 章 介绍 大 数据 和 Storm 在 大 数据 中 所 处 的 地 位 ， 该 章 的 目的 是 展示 一 个 选择 Storm 的 理由 和 时 机 ， 一 些 天 于 大 数据 应 用 
的 关键 特性 ， 各 类 用 于 处 理 大 数据 的 工具 ， 以 及 明确 Storm 的 工具 类 型 。 


第 2 章 借助 一 个 对 某 GitHub 库 提交 数 的 统计 案例 ， 解 释 Storm 的 核心 概念 。 该 章 将 建立 学 习 Storm 的 相关 术语 基础 ， 尝 试 一 
小 段 代码 来 学 习 建 六 Storm 工 程 ， 而 这 个 案例 中 的 概念 也 将 贯穿 本 书 。 


第 3 章 讲 解 在 Storm 下 设计 拓扑 结构 的 最 佳 实践 ， 同 时 以 一 个 社交 热力 图 的 应 用 为 例 ， 展 示 了 如 何 将 问题 基于 Storm 的 结构 
来 做 分 解 ， 以 便 适 用 于 程序 的 上 下 文 实现 部 署 。 访 章 还 讨论 了 如 何 处 理 不 称 定 的 数据 源 ， 或 者 是 不 可 靠 的 外 部 服务 。 同 时 在 该 章 
中 介绍 的 百 字 节 并 行 性 ， 也 将 成 为 后 续 章 节 中 的 重点 ， 最 后 在 该 章 中 还 深入 讨论 了 高 级 扫 扑 设计 汉 了 式 。 


第 4 章 以 一 个 信用 卡 的 授权 系统 为 例 ， 探 讨 storm 如 何 确保 消息 以 上 下 文 的 形式 传输 ， 前 述 storm 的 实现 机 制 ， 并 且 如 何 基 
于 一 套 方案 的 部 署 ， 提 供 不 同 层面 的 可 靠 性 支持 。 同 时 该 章 在 最 后 做 一 个 忌 结 ， 说 明 如 何在 Storm 的 拓扑 结构 上 ， 实 现 这 种 不 同 
层次 的 可 绯 性 支持 。 


第 2? 章 涵 兰 Storm 集群 的 相关 细节 ， 还 将 讨论 storm 集群 的 各 类 组 件 ，storm 集 群 如 何 提供 容错 机 制 ， 以 及 如 何 配置 一 个 
Storm 集群 ， 并 人 在 Storm 集群 生产 环境 中 部 署 并 局 动 拓扑 。 访 章 的 提示 内 容 将 重点 解释 storm 的 Ul 部 分 ， 因 为 后 面 的 章节 会 越 来 
越 多 地 涉及 Storm UI 中 的 相关 操作 。 


第 6 章 前 述 在 Storm 的 拓扑 结构 中 ， 基 于 一 个 限时 抢购 系统 的 应 用 案例 ， 如 何 实现 反复 调 优 的 过 程 。 同 时 还 讨论 如 何 与 外 部 
系统 协作 ， 以 及 会 对 现 有 拓扑 结构 产生 的 有 影响。 最后， 我 们 将 借助 Storm 现 有 的 指标 收集 APl1， 讲 解 如 何 建立 你 的 目 定 义 指标 。 


第 7 章 涵 关 在 同时 使 用 多 拓扑 的 时 候 ，storm 集 群 可 能 上 友 生 的 各 种 冲突 。 我 们 将 从 一 个 拓扑 中 出 现 资源 冲突 的 情况 开始 ， 逐 
步 展 开 至 折 扑 间 的 系统 资源 冲突 ， 以 及 Storm 进程 和 其 他 进程 甚至 是 操作 系统 乙 间 的 系统 资源 冲突 分 析 ， 该 章 将 市 你 领略 storm 


集群 的 完整 应 用 效果 。 


第 8 章 深入 讲解 Storm， 在 完整 理解 后 ， 你 基本 上 残 能 应 对 各 种 情况 下 的 调试 了 。 还 深入 讲解 Storm 的 并 行 化 和 执行 器 的 中 
心音 元，Storm 的 内 部 缓存 调用 方式 ， 洪 出 的 前 提 条 件 ， 如 何 优化 这 些 组 ;中 配置 等 ， 最 后 讨论 Storm 的 调试 日 志 输 出 。 


第 9 章 讲 解 Trident 架 构 ， 它 是 一 个 基于 Storm 的 上 层 抽象 应 用 架构 ， 同 时 演示 基于 它 开 友 一 个 互联 网 广播 应 用 。 还 解释 
Trident 结 构 的 优势 ， 以 及 什么 情况 下 你 会 使 用 到 它 。 我 们 会 比较 一 个 常规 的 Storm 拓扑 和 一 个 基于 Trident 结 构 的 拓扑 ， 分 析 两 
者 之 间 的 区 别 。 该 章 还 将 涉及 Storm 的 分 布 式 远程 过 程 调用 (DRPC) 组 件 ， 以 及 如 何 借助 它 来 实现 拓扑 的 状态 查询 。 最 后 ， 演 
示 一 个 完整 的 Trident 拓 扑 部 署 ， 以 及 如 何 实现 该 结构 的 扩展 。 


代码 的 下 载 和 使 用 规 沁 


本 书 中 的 所 有 代码 可 以 在 https://github.com/Storm-Applied 中 下 载 ， 包 含 以 下 章节 中 涉及 的 源 代码 。 
“ 第 2 章 ，GitHub 的 提交 次 数 计 数 。 
“ 第 3 章 ， 社 交 热 力图 。 
第 4 章 ， 信 用 卡 授权 。 
` 第 6 章 ， 限 时 抢购 系统 。 
-第 9 章 ， 互 联网 广播 应 用 的 播放 日 志 统 计 。 


很 多 源 代码 都 以 代码 清单 的 方式 展示 ， 以 提供 完整 的 代码 段 。 有 些 代码 清单 会 加 以 注释 ， 用 于 配合 书 中 的 功能 讲解 部 分 。 在 
其 他 地 方 ， 只 在 需要 的 地 万 才 会 演示 代码 片段 。 无 论 是 代码 清单 还 是 片段 ， 我 们 都 通过 对 字体 加 粗 ， 用 来 强调 这 段 代 码 正 是 文中 
配合 解释 的 那 一 段 。 


软件 要 求 
软件 要 求 如 下 所 示 : 


解决 方案 采用 的 版 本 是 Storm0.9.3。 
` 全 部 方案 编程 使 用 的 语言 为 Java6。 


` 代码 的 编译 和 打包 使 用 的 是 Maven3.2.0。 


天 于 原 书 封面 插图 


原 书 封面 插图 标题 为 “来 目 克 罗 地 亚 达尔 马 提 亚 的 克拉 维尔 男人 ”， 这 是 一 幅 传统 的 克罗地亚 服饰 展示 图 ， 由 19 世 纪 中 期 
的 Nikola Arsenovic 创 作 ， 于 2003 年 由 克罗地亚 位 于 斯 普 利 特 的 人 种 学 博物 馆 出 版 。 该 插图 也 是 由 一 名 来 和 目 斯 普 利 特 人 种 学 博 
物 馆 的 管理 员 在 一 片上 废墟 中 友 现 的 ， 出 土地 点 位 于 中 世纪 时 期 罗马 城市 的 核心 地 市 ， 也 是 公元 304 年 Diocletian 统 治 时 期 的 珊 国 


疗 关 家 殿 所 在 地 。 这 本 彩色 画册 摘 绘 了 克罗地亚 不 同 区 域 的 人 物 画 像 ， 包 含 了 各 陈 各 样 的 民族 服饰 和 日 单 生活 写照 。 


克拉 维尔 是 一 个 位 于 克罗地亚 杜 布 罗 夫 尼 克 东 南部 的 狭小 地 区 ， 地 处 于 斯 涅 日 卡 山 和 亚 得 里 亚 海 乙 间 的 狭 窒 区 域 ， 紧 邻 蒙特 
内 格 罗 。 图 中 的 人 物 打 着 上 自己 的 步枪 ， 身 上 还 别 着 手枪 和 纪 首 ， 枪 套 塞 在 他 那 完 大 的 用 《市 之 间 。 从 他 管 惕 的 架势 和 紧 绷 的 神情 上 
可 以 看 出 ， 他 应 该 是 在 守卫 着 边境 ,或 者 是 在 提防 偷 猎 者 。 他 服饰 上 最 有 特色 的 一 点 ， 束 是 他 那 双 印 有 复杂 花纹 设计 的 亮 红色 袜 
子 ， 这 是 典型 的 达尔 马 提 亚当 地 服饰 风格 。 


人 们 的 穿着 打扮 和 生活 方式 在 过 去 的 200 年 里 友 生 了 天 番地 覆 的 变化 ， 而 地 区 之 间 的 多 样 性 在 时 间 的 作用 下 逐渐 被 模糊 淡化 
了 ， 所 以 现在 基本 很 难 再 说 出 不 同 大 陆 上 原 住民 之 间 的 区 别 ， 更 别提 相 隐 不 远 的 不 同村 落 和 城镇 。 也 许 我 们 已 经 舍 借 了 追求 文化 
之 间 的 考 异 性 ， 在 尝试 以 更 广泛 的 生活 方式 ， 来 拥抱 更 为 丰富 多 彩 的 个 人 生活 和 快 古 奏 的 科技 类 生活 。 


同样 地 ， 在 这 个 难以 分 辨 不 同 计算 机 书籍 的 时 代 ，Manning 试 图 以 两 个 世纪 前 的 不 同 区 域 生活 方式 作为 封面 ， 将 过 去 丰富 
多 彩 的 场景 引入 至 今 ， 来 赞美 当下 现代 计算 机 技术 不 断 创 新 和 敢 为 人 移 的 精神 。 


第 1 曹 ”Storm 人 入 介 


本 章 要 点: 
* Storm 是 什么 
大 数据 的 定义 
大 数据 工具 
“ Storm 如 何 应 用 于 大 数据 场景 
. 选择 Storm 的 理由 


Apache Storm 是 一 个 分 布 式 实时 计算 框架 ， 适 用 于 处 理 无 边界 的 流 数 据 。 将 Storm 与 你 当前 使 用 的 队列 和 持久 化 技术 相 结 
合 ， 就 能 实现 多 种 处 理 和 转换 流 数据 的 方式 。 


还 跟 得 上 吧 ? 有 一 部 分 读者 很 聪明 ， 已 经 听 慌 这 是 什么 意思 了 ， 不 过 好 像 还 有 些 人 正在 寻找 适合 表达 当前 迷 沱 状态 的 网 络 动 
图 吧 。 上 面 的 摘 述 信息 量 确 实 很 大 ， 所 以 如 果 你 一 时 无 法 掌握 其 全 部 合 义 ， 别 担心 ， 我 们 将 会 用 本 草 余 下 部 分 来 准确 解释 我 们 想 
表达 的 意思 。 


为 了 更 准确 地 了 解 storm 是 什么 ， 如 何 使 用 ， 那 么 你 需要 先 明 日 Storm 适用 于 怎样 的 大 数据 应 用 场景 。 它 可 以 与 哪些 技术 共 
同 使 用 ? 它 可 以 蔡 代 哪些 技术 ? 为 了 回答 这 样 的 问题 ， 我 们 需要 一 些 上 下 文 说 明 。 


1.1 什么 是 大 数据 


为 了 谈论 大 数据 以 及 理解 Storm 适 用 于 怎样 的 大 数据 应 用 场景 ,我们 需要 对 “大 数据 ”的 定义 达成 一 个 共识 。 因 为 现在 市 面 


上 有 许多 关于 大 数据 的 定义 ， 每 个 定义 都 有 其 独特 的 角度 ， 下 面 就 先 说 说 我 们 的 吧 。 


1.1.1 大 数据 的 四 大 特性 


大 数据 有 四 个 公认 的 特性 : 体 量 (Volume) 、 速 度 (Velocity) 、 多 样 性 (Variety) 和 真实 性 (Veracity) 【1 
体 量 


体 量 是 大 数据 最 显著 的 特性 ， 也 是 人 们 听 a 到 大 数据 这 个 词 在 脑海 中 的 第 一 印象 。 数 据 每 天 源源 不 断 地 从 不 同 的 数据 源 产 出 : 
这 些 数据 可 以 是 人 们 在 社交 网 络 中 产生 的 数据 ， 可 以 是 软件 本 身 产 生 的 数据 (如 网 站 访问 记录 、 应 用 日 志 等 ) ， 也 可 以 是 用 户 目 
我 创建 的 数据 ， 例 如 Wikipedia (维基 百科 ) ， 但 这 些 都 只 是 数据 最 表层 的 展示 。 


当 人 们 谈 到 大 体 量 时 ， 首 先 会 想到 Google (谷歌 ) 、Facebook ( 脸 书 ) 和 Twitter ( 推 特 ) 这 类 公司 。 是 的 ， 这 些 都 是 处 
理 超大 规模 数据 的 公司 ， 相 信和 你 还 能 襄 出 更 多 类 似 的 公司 。 但 还 有 很 多 没有 如 此 大 体 量 数据 的 公司 呢 ” 它 们 大 多 采用 较 单 一 的 数 
据 维 度 ， 根 本 称 不 上 叫 大 数据 ， 可 这 些 公司 也 在 使 用 Storm， 这 又 是 为 什么 呢 ” 那 我 们 融 来 况 襄 第 二 个 特性 所 起 的 作用 : 速度 。 


速度 


速度 决定 了 数据 流入 系统 时 的 节奏 ， 也 决定 了 数据 的 数量 以 及 数据 流 的 连续 性 。 数 据 量 (也 许 只 是 一 个 访客 浏览 你 网 站 时 ， 
点 击 一 系列 链接 时 产生 的 数据 ) 可 能 相当 小 ， 但 是 其 流入 系统 的 速率 可 能 会 非常 快 。 速 度 是 一 个 非常 重要 的 指标 ， 它 决定 了 你 是 
否 可 以 足够 快 地 处 理 涌 入 的 数据 ， 并 让 其 创造 价值 ， 而 不 是 你 仅仅 因为 拥有 多 少数 据 ， 就 能 等 价 于 拥有 价值 。 数 据 量 可 能 是 TB 
级 别 (数据 存储 单位 ，1TB=1024GB) ， 也 可 能 是 由 500 万 个 URL (统一 资源 定位 符 ) 组 成 的 小 量 数据 。 问 题 的 重点 是 你 是 否 可 
以 在 数据 失效 前 ， 就 完成 有 价值 的 信息 解析 。 


至 此 为 止 , 我们 已 经 讨论 了 体 量 和 速度 两 个 特性 ， 它 们 分 别 描述 了 数据 的 数量 以 及 数据 流入 系统 的 效率 。 在 许多 案例 中 ， 数 
据 可 能 来 目 多 个 数据 源 ， 因 此 这 引出 了 其 另 一 个 特性 : 多 样 性 。 


多 样 性 


是 到 多 样 性 ， 让 我 们 先 回 过 头 来 看 如 何 将 数据 的 价值 释放 出 来 。 通 常 ， 数 据 来 自 于 不 同 的 数据 源 ， 通 过 组 合 的 方式 让 数据 形 
成 有 意义 的 输出 。 刚 开始 的 时 候 ， 你 的 数据 可 能 来 自 Google Analytics (一 款 由 谷歌 公司 开发 的 分 析 平 台 ) ， 或 者 是 一 些 附属 类 
日 志 ， 更 常见 的 是 来 自 一 些 关 系 型 数据 库 。 可 以 参考 以 下 几 种 思路 去 抽 炼 数据 ， 以 便 形 成 具备 指 代 意义 的 数据 输出 : 


Q: 谁 是 我 的 最 佳 客户 ? 

A: 新 墨西哥 的 林 狼 队 。 

Q: 他 们 经 第 购买 些 什么 ? 

A: 一 些 颜 料 ,， 但 大 部 分 情况 下 都 是 些 大 型 器 材 。 

Q: 我 可 以 分 别 查 看 每 一 个 客户 ， 看 看 他 们 都 喜欢 的 商品 以 及 提供 这 些 商 品 的 商家 吗 ? 
A: 这 取决 于 你 查询 和 转换 数据 的 动作 有 多 快 了 。 


即使 我 们 现在 不 用 担心 大 规模 的 数据 量 、 快 速 的 数据 涌 入 频率 ， 以 及 多 样 化 的 数据 源 ， 我 们 也 需要 考虑 输入 系统 的 数据 准确 
性 ， 所 以 最 后 一 个 需要 关心 的 属性 残 是 : 真实 性 。 


所 
将 


性 


真实 性 定义 了 数据 的 输入 和 输出 正确 性 ， 大 部 分 情况 下 我 们 都 希望 数据 是 绝对 精确 的 ， 但 有 时 也 会 容忍 一 个 “差不多 ”的 误 
者 精 度 。 许 多 算法 都 支持 高 精度 的 估算 ,但 面 对 大 数据 处 理 时 ， 弟 需要 去 实现 较 低 运算 量 的 需求 (例如 Hyberloglog) 。 例 如 ， 
如 果 要 计算 一 个 大 型 热门 网 站 的 页 面 展示 时 间 ， 根 本 没 必 要 去 做 精确 抓 取 ， 求 个 大 致 时 间 段 融 行 了 。 所 以 我 们 需要 在 准确 性 和 次 
源 消 耗 之 间 考 虑 平衡 ， 这 也 是 大 数据 系统 最 具 标 志 性 的 功能 特性 。 


那么 基于 体 量 、 速 度 、 多 样 性 和 真实 性 的 定义 ， 我 们 也 对 大 数据 有 了 一 个 大 致 的 了 解 。 下 一 步 ， 束 是 需要 寻找 一 种 可 以 处 理 
这 种 大 数据 的 工具 了 。 


[1] http://en.wikipedia.oreg/wiki/ Big_datao 


1.1.2 大 数据 工具 

为 了 处 理 大 数据 的 这 些 特性 ( 体 量 、 速 度 、 多 样 性 、 真 实 性 ) ， 已 经 诞生 了 大 量 的 工具 。 在 这 个 大 数据 的 生态 中 ， 不 同 工 具 
扮演 了 不 同 的 角色 ， 分 别 应 对 不 同 的 需求 。 

“ 数据 处 理 : 这 些 工 具 主 要 用 于 基于 指定 的 计算 方式 ， 让 数据 集 释放 出 有 价值 的 信息 。 


数据 传输 : 这 些 工 具 主 要 用 于 将 数据 收集 并 提取 至 数据 处 理 系 统 ， 或 者 在 不 同 组 件 之 间 执 行 数据 的 传输 。 数 据 格 式 可 以 不 
限 ,， 但 最 终 它们 都 会 共用 一 套 消 息 总 线 (或 者 称 之 为 消息 队列 ) ,例如 Kafka、Flume、Scribe 和 Scoop。 


- 数据 存储 : 这 些 工具 主要 用 于 在 不 同 阶段 的 数据 处 理 期 间 ， 为 数据 集 提 供 存储 服务 ， 它 们 可 以 是 分 布 式 的 文件 系统 ， 例 如 
分 布 式 文件 系统 HDFS (Hadoop Distributed File System) 或 者 GlustetFS 以 及 Cassandta 这 类 NoSQL 结构 的 数据 库 。 


我 们 将 专注 讲解 数据 处 理 层 ， 因 为 storm 是 一 款 用 于 数据 处 理 的 工具 。 为 了 理解 它 ， 你 需要 知道 什么 是 数据 处 理工 具 。 它 们 
大 致 可 以 分 为 两 个 主要 层级 : 批 (batch) 处 理 和 流 (stream) 处 理 。 最 近 又 新 增 了 一 种 介 于 两 者 之 间 的 衍生 层 : 基于 流 的 微型 
批 处 理 (micro-batch) 层 。 


批 处 理 


我 们 假设 一 个 场景 中 最 简单 的 数据 维度 : 一 个 网 页 上 的 单 次 点 击 。 想 象 一 下 ， 同 一 时 间 内 可 能 会 产生 数 以 万 计 的 点 击 量 ,这 
些 点 击 汇 集 起 来 束 成 为 一 个 批 数 据 ， 接 下 来 这 些 数据 将 一 起 被 执行 处 理 操作 。 图 1.1 展 示 了 数据 如 何 流入 面向 批 处 理 的 工具 。 


数据 分 批 


数据 /7 7/ 一 一 >/ 批 处 理 需 计算 结果 
存储 人 
数据 基于 用 户 创 建 ee ， 
的 圳 件 、 系 统 创建 的 哲 存 数据 ~ 数据 按照 既定 批 次 进行 处 理 ， 
1" 、 SiNY Fy 
寺 得 进一步 每 一 批 的 数据 量 可 能 很 庞 
事件 日 志 事 件 或 者 ee 每 一 批 的 数据 量 可 能 很 庞大 


其 他 事件 进入 系统 
图 1.1 数据 流向 和 批 处 理 器 


这 个 批 处 理 数据 案例 从 基于 网 站 的 日 志 数 据 中 抽 炼 出 用 尸 的 访问 行为 。 我 们 需要 拥有 一 个 固定 的 数据 池 ， 这 样 才 可 以 持续 地 


获取 分 析 结 果 。 更 重要 的 一 点 ， 束 是 需要 注意 工具 在 这 个 流程 中 扮演 的 角色 。 因 为 这 一 批 数据 可 以 是 轻 量 数据 ， 也 可 以 是 海量 大 
数据 ， 所 以 在 开 友 这 些 数据 的 批 处 理 器 时 ， 一 定 要 有 个 全 局 的 画面 ， 而 不 能 仪 着 眼 在 一 个 单 点 数据 上 。 一 个 早期 的 用 户 行 为 数据 
分 析 是 无 法 建立 在 一 个 单 点 数据 维度 上 的 ， 你 需要 基于 其 他 数据 维度 去 建立 上 下 文 天 系 〈 即 其 他 访问 的 URL 链 接地 址 ) 。 换 句 话 
说 ， 批 处 理 人 允许 你 对 数据 按照 不 同 维度 执行 连接 、 合 并 或 者 聚合 操作 ， 这 也 是 为 什么 批 处 理 模式 目前 航 广 泛 应 用 于 机 器 学 习 的 算 
法 上 上。 


批 处 理 的 另外 一 个 特性 ， 玖 是 在 所 有 数据 处 理 流程 全 部 完成 之 前 ， 你 是 无 法 得 到 一 个 最 终 答案 的 。 哪 怕 是 最 初期 导入 结 点 的 
运算 数据 ， 也 无 法 在 全 部 计算 执行 完成 之 前 查看 到 。 批 次 数据 量 越 大 ， 束 需要 面 对 越 多 的 合并 、 聚 合 和 连接 操作 运算 ， 这 里 的 消 
耗 代 价 相当 高 。 因 为 该 批 数据 的 规模 一 定 程度 上 决定 了 处 理 的 时 间 ， 也 就 是 你 获取 结果 需要 等 待 的 时 间 。 如 果 结 论 是 非常 紧急 
的 ， 那 么 就 需要 更 优 的 解决 方案 ， 例 如 流 数据 处 理 。 

流 处 理 


一 个 流 数 据 处 理 器 扮演 的 角色 建立 在 一 个 无 边界 的 流 数 据 之 上 。 如 图 1.2 所 示 ， 束 是 数据 如 何 流 入 一 个 流 处 理 系统 。 


计算 结果 


数据 基于 用 户 创建 二 
的 事件 、 系 统 创建 的 
事件 、 日 志 事 件 或 者 
其 他 事件 进入 系统 


数据 在 流入 系统 的 
同时 执行 实时 处 理 ， 
分 别处 理 每 个 事件 


图 1.2 ”数据 流向 和 流 处 理 


一 个 流 数 据 处 理 器 可 以 持续 地 处 理 数据 (因此 才 称 之 为 流 数 据 ) ， 而 一 般 会 要 求 这 些 数 据 快速 产生 有 效 结论 ， 当 然 ， 这 并 不 
是 流 数 据 的 绝对 实用 场景 ， 也 不 是 流 处 理 的 前 提 条 件 。 为 什么 可 以 持续 地 向 流 处 理 器 中 灌 入 无 边界 的 数据 流 呢 ? 因 为 这 些 流 数 据 
本 身 是 由 一 个 消息 忌 线 来 引导 的 ， 这 样 按 照 指 定 方 向 ， 数 据 束 可 以 持续 趁 热处理 ， 而 且 还 能 同时 获取 数据 结论 。 不 同 于 批 处 理 ， 
这 里 对 数据 维度 没有 明确 定义 的 起 点 和 终点 ， 它 是 一 和 直 持 续 的 过 程 。 


为 了 实现 立即 输出 结果 ， 系 统 会 依次 对 单 点 的 简单 数据 执行 处 理 。 海 量 数 据 按照 流 的 方式 输入 ， 系 统 因 为 会 依次 处 理 ， 那 么 
很 容易 实现 数据 的 并 行 二 级 处 理 ， 即 数据 在 创建 之 后 即 可 输出 结果 。 试 想 基 于 Twitter 的 推 文 流 执 行情 绪 分 析 ， 你 不 需要 在 推 文 
与 推 文 之 间 做 连接 或 天 联 操作 ， 所 有 的 处 理 都 是 单 点 的 。 当 然 ， 你 也 可 以 使 用 基于 拥有 上 下 文 关 系 的 数据 集 ， 其 数据 一 般 由 历史 
推 文 来 组 成 ， 称 之 为 训练 集 。 但 因为 这 些 推 文 属于 已 经 友 生 的 历史 数据 ， 不 需要 去 编造 ， 所 以 残 避免 了 基于 当前 数据 所 做 的 昂贵 
的 聚合 操作 ， 数 据 可 以 按照 时 间 点 做 持续 的 处 理 。 因 此 不 像 批 处 理 系统 ， 在 一 个 流 处 理应 用 系统 中 ， 每 一 个 时 间 点 上 的 计算 结 
束 ， 你 都 能 获取 一 个 有 效 的 结论 。 


但 是 流 处 理 并 不 局 限于 在 同一 个 时 间 点 处 理 单 一 数据 ， 我 们 以 Twitter 最 重要 的 一 个 功能 “热门 话题 ”为 例 ， 它 基于 每 个 时 
间 窗 口 ， 对 当前 的 推 文 执行 计算 ,并 展示 在 右 侧 的 一 个 小 窗 里 。 我 们 定义 “热门 ”是 基于 两 个 时 间 窗 口 之 间 的 推 文 热度 比 对 ， 显 
然 基于 一 个 截止 时 间 扣 的 批 数 据 计 算 ， 相 比 按 序 执行 运算 ， 一 定 存在 一 定 层次 的 延迟 (因为 只 有 时 间 窗 口 天 闭 之 后 ， 在 这 期 间 产 
生 的 推广 才 会 被 认定 为 完整 的 数据 集 ) 。 类 似 ， 其 他 形式 的 缓存 、 连 接 、 合 并 或 者 聚合 流 计 算 也 会 产生 一 定 的 延迟 。 所 以 在 延迟 


的 引入 和 数据 的 准确 性 之 间 ， 一 定 存在 某 种 交替 ， 一 个 较 大 间隔 的 时 间 窗 口 (或 者 需要 更 多 连接 、 合 并 和 聚合 操作 的 数据 ) 可 以 
基于 某 种 算法 提供 一 个 更 精确 的 处 理 结果 ， 但 代价 就 是 存在 一 定 延 迟 。 通 常 在 流 数 据 系统 中 ， 我 们 可 以 控制 计算 延迟 在 毫秒 级 、 
秒 级 或 者 最 多 分 钟 级 别 ， 超 出 这 些 情 况 的 案例 更 适合 及 用 批 处 理 来 处 理 。 


我 们 刚才 假定 了 两 种 场景 来 基于 推 文 使 用 流 处 理 系统 ， 实 际 上 流入 Twitter 系 统 的 推 文 数据 量 是 惊人 的 ， 而 Twitter 系 统 需要 
能 够 立即 告诉 用 户 ， 他 所 在 区 域 的 人 都 在 讨论 什么 ， 那 么 Twitter 需 要 的 不 仅仅 是 处 理 大 体 量 的 数据 ， 还 需要 确保 高 速率 的 数据 
处 理 (也 融 是 癌 低 延迟 率 ) 。Twitter 有 一 个 庞大 且 永 不 间断 的 推 文 流 ， 所 有 的 用 尸 话 题 数据 需要 做 实时 解析 ， 这 真 的 是 一 项 伟 
大 的 工程 。 事 实 上 ， 我们 将 在 第 3 草 中 去 构建 一 个 类 似 的 热门 话题 案例 。 


基于 流 的 微型 批 处 理 层 


最 近 几 年 为 了 应 对 类 似 “ 热 门 话题 ”这 样 的 需求 ， 诞 生出 了 大 量 的 工具 。 这 些微 型 批 处 理工 具 和 流 处 理工 具有 一 些 类 似 ,， 它 
们 都 应 用 于 处 理 无 边界 的 流 数 据 。 但 不 同 于 流 处 理 器 可 以 允许 你 访问 每 个 结 点 内 的 数据 ， 微 型 批 处 理 器 是 按 批 次 输入 数据 ， 然 后 
一 段 时 间 后 按 批 次 输出 数据 。 这 残 使 得 这 种 微型 批 处 理 的 框架 不 适合 单 点 单 维度 的 数据 一 个 个 处 理 的 需求 。 当 然 ， 这 里 还 规避 了 
单 点 批 处 理 数据 量 所 带 来 的 征 迟 效率 ， 它 让 整个 基于 流 的 数据 批 处 理 变 得 更 轻松 灵活 了 。 


1.2 Storm 如 何 应 用 于 大 数据 应 用 场景 


那么 Storm 到 底 适 用 于 中 间 的 哪个 环节 呢 ? 回 到 本 章 最 开始 时 下 的 定义 ， 我 们 讲 : 
Storm 是 一 个 分 布 式 实时 计算 和 框架， 适用 于 处 理 无 边界 的 流 数 据 。 


所 以 说 Storm 是 一 个 基于 流 处 理 的 工具 ， 原 理 十 分 清晰 简单 ， 束 是 可 以 无 限制 地 接收 流 数 据 ， 并 执行 一 定 规 则 的 处 理 。 
Storm 也 是 一 个 分 布 式 的 系统 ， 人 允许 根据 情况 实时 地 添加 设备 来 增加 运算 能 力 。 另 外 ，Storm 还 可 以 实现 类 似 Trident 的 框 染 ， 
允许 你 在 流 数 据 中 执行 微型 批 处 理 操 作 。 


什么 是 实时 ? 


当 我 们 在 本 书 中 提 到 术语 买 时 时 ， 这 具体 意味 着 什么 呢 ? 从 技术 层面 上 讲 ， 应 该 是 接近 实时 这 样 的 描述 会 更 准确 。 在 软件 系 
统 中 ， 实 时 的 定义 其 实 是 基于 系统 设置 的 运算 时 间 截 点， 它 反映 了 系统 对 一 个 特定 事件 的 响应 时 长 。 正 第 情况 下 ， 这 个 延迟 率 可 
能 是 毫秒 级 的 〈 或 者 至 少 低 于 秒 级 ) ， 所 以 对 于 用 户 的 感受 来 说 几乎 是 无 延迟 反馈 的 。 在 Storm 的 上 下 文中 ， 实 时 ( 低 于 秒 级 ) 
和 近 实 时 (基于 用 户 场 景 的 秒 级 或 者 分 钟 级) 的 延迟 都 是 可 行 的 。 


那 本 章 开 始 时 定义 中 的 第 二 句 又 怎么 解释 呢 ? 
将 Stotm 与 你 当前 使 用 的 队列 和 持久 化 技术 相 结合 ， 就 能 实现 多 种 处 理 和 转换 流 数据 的 方式 。 


接 下 来 在 书 中 提 到 的 Storm 流 数据 源 都 是 极其 灵活 的 ， 可 以 来 自任 何 形式 ， 通 党 是 一 个 队列 系统 。 但 Storm 不 会 对 流 数据 的 
来 源 做 任何 限制 (我们 在 自己 的 场景 中 通常 使 用 Kafka 和 RabbitMQ) ， 同 样 Storm 也 不 会 限制 流 数据 转化 输出 的 去 向 。 我 们 在 
很 多 场景 中 ， 会 将 运算 结果 存放 在 一 个 数据 库 中 ， 以 备 稍 后 的 调用 ， 但 最 终 的 结果 可 能 会 被 推送 至 不 同 的 独立 队列 ， 甚 至 是 指 同 
其 他 系统 (也 许 还 是 一 个 Storm 拓 扑 ) ， 用 于 进一步 处 理 。 


重点 在 于 ， 可 以 将 Storm 直 接 插入 到 你 现成 的 架构 中 ， 而 本 书 的 目标 就 是 指导 你 如 何 实 现 这 样 的 操作 ， 如 图 1.3 所 示 ， 丈 是 
一 个 假想 的 推 文 流 处 理 模 式 。 


对 实时 性 要 求 较 高 的 热门 话题 报告 


需要 与 当前 推 人 的 推 文 做 持续 更 新 ) 


每 天 的 批 处 理 将 对 当天 的 所 有 推 文 做 
集中 处 理 ， 从 数据 中 读 取 并 处 理 ， 区 别 
于 实时 的 热门 话题 报告 ， 这 个 过 程 不 需 


要 考虑 即时 性 一 全 


实时 的 


得 入 的 推 文 热门 话题 


即时 的 推 文 数据 流 由 每 天 的 


外 部 采集 进入 系统 ， 一 数据 库 批 处 理 
个 Storm 集群 将 监听 这 每 条 推 文 都 被 存放 在 一 个 
些 采 集 ， 并 在 每 条 推广 数据 库 中 ， 用 于 稍 后 的 处 理 


上 执行 两 个 动作 
图 1.3 Storm 在 一 个 系统 中 的 应 用 范例 
这 种 高 度 抽 象 的 解决 方案 重点 就 企 于 假想 性 ， 我 们 希望 借 此 来 向 你 展示 Storm 的 系统 植 入 性 ， 以 及 批 处 理 和 流 处 理工 具 的 共 


仓 可 行 性 形态 。 
那么 还 有 什么 扩 术 可 以 应 用 在 Storm 上 呢 ” 如 图 1.4 所 示 ， 部 分 回答 了 这 个 问题 。 图 中 演示 了 一 个 针对 小 型 采样 可 实现 的 近 
术 架 构 ， 其 中 你 可 以 看 到 Storm 的 灵活 性 ， 可 以 直接 插入 系统 并 开始 工作 。 


实时 也 
天 时 的 Hadoop 可 以 说 是 


热门 话题 i re 
ee 最 适用 于 执行 批 处 理 
的 方案 了 


输入 的 推广 


每 日 的 
批 处 理 


为 了 集成 并 处 理 推 
文 ，Storm 集群 有 多 种 后 放 
选项 来 实现 队列 技术 ， ”可 以 使 用 各 种 类 型 的 数据 库 ， 例 如 
例如 Kafka、Kestrel NoSQL 的 Redis、Cassandra 以 及 
或 者 RabbitMQ 等 Riak， 还 有 关系 型 数据 库 MySQL 


图 1.4 ”Storm 与 其 他 技术 结合 的 应 用 范例 
对 于 我 们 的 队列 系统 ， 其 实 有 很 多 技术 方案 可 以 选择 ， 包 括 Kafka、Kestrel 以 及 RabbitMQ。 对 于 数据 库 ， 我 们 可 以 选择 
Redis、Cassandra 或 者 Riak， 还 有 只 能 作为 最 基础 选项 的 MySQL。 回 过 头 再 看 看 ， 我 们 已 经 覆盖 了 包括 Hadoop 集 群 在 内 的 解 
决 方案 ， 可 以 实现 我 们 需要 的 “每 日 最 热门 话题 ”计算 分 析 报 告 了 。 
现在 ， 和 希望 你 对 storm 的 适用 和 应 用 情况 可 以 有 一 个 清晰 的 理解 。 可 以 广泛 地 应 用 各 种 技术 配合 Storm 完善 系统 设计 ， 包 括 
Hadoop。 稍 等 ， 我 们 有 解释 Storm 是 如 何 与 Hadoop 搭 配 工作 的 吗 ? 


storm 与 其 他 弟 用 工具 之 间 的 对 比 


在 和 很 多 工程 师 交 流 的 时 候 ，Storm 和 Hadoop 经 常会 出 现在 同一 段 对 话 里 。 我 们 先 不 谈 工 具 ， 先 看 看 一 般 我 们 会 面临 什么 
样 的 问题 ， 然 后 再 看 看 如 何 选 择 具备 解决 问题 特性 的 工具 。 大 部 分 情况 下 ， 你 可 能 会 友 现 单个 工具 是 无 法 解决 全 部 问题 的 ， 事 实 
办 


上 ，, 一般 要 采取 正确 的 搭配 才能 实现 解决 对 应 的 场景 。 


接 下 来 我 们 将 展示 一 系列 的 大 数据 工具 ， 并 分 别 和 storm 做 对 比 ， 找 到 这 些 工 具 与 Storm 之 间 最 大 的 区 别 ， 但 也 请 不 要 仪 基 
于 这 些 比 对 残 做 出 选择 。 


Apache Hadoop 


Hadoop 在 过 去 基本 上 是 批 处 理 系统 的 代名词 ， 随 着 Hadoop 的 第 二 代 版 本 上 友 布 ， 它 不 仅 在 系统 层面 更 加 完善 ， 还 可 以 说 是 
逐渐 成 为 一 个 具备 大 数据 处 理 能 力 的 应 用 平台 。 它 的 批 处 理 组 件 称 为 Hadoop MapReduce， 作 业 调 度 器 和 集群 资源 管理 器 的 组 
件 叫 做 YARN ， 分 布 式 文件 系统 叫 HPDFS3。 其 他 各 种 大 数据 工具 可 以 分 别 基 于 YARN 来 管理 集群 和 HDFS， 组 成 数据 仓储 的 后 端 。 
在 本 书 的 其 余部 分 里 ,一 旦 涉及 讨论 Hadoop， 我 们 提 到 的 都 会 是 MapReduce 组 件 ， 并 且 会 明确 地 指出 都 基于 YARN 和 HDFS。 


如 图 1.5 所 示 ， 这 里 展示 了 数据 是 如 何 灌 入 Hadoop 并 执行 批 处 理 的 ， 数 据 的 存储 是 基于 HDFS 的 分 布 式 文件 系统 ， 一 旦 与 问 
题 相 关 的 批 数 据 完成 识别 后 ，MapReduce 组 件 将 对 每 个 批 次 都 运行 一 次 加 工 计算 ， 当 MapReduce 启 动 计算 的 时 候 ， 代 码 将 深 
动 到 下 一 个 结 点 ， 也 就 是 数据 存储 的 地 方 。 这 些 束 是 一 个 典型 的 批 处 理 作业 的 特性 ， 批 处 理 脚本 通常 都 使 用 在 大 规模 的 数据 集 上 

(无 论 是 TB 级 的 还 是 PB 级 的 ) ， 在 这 些 场 景 中 ， 很 容易 在 分 布 式 文件 系统 的 数据 结 点 上 调度 代码 ， 并 在 对 应 结 点 上 执行 这 些 代 
码 ， 而 且 正 因为 其 采用 了 数据 本 地 化 的 机 制 ， 实 现 了 可 规模 化 的 效率 扩展 。 


数据 分 批 
ee A 
数据 基于 用 户 创建 z 
*/ 所 基于 户 他 I : 了 千本 
4 圳 件 ” 素 综 便 | 建 的 。 蔚 仔 数据 守 数据 按照 既定 批 次 进行 
的 事件 、 系 统 创建 的 ，、， 
待 进一步 处 理 处 理 ， 每 一 批 的 数据 量 可 


事件 、 日 志 事 件 或 者 


和 人 已 乞 > 
其 他 事件 进入 系统 能 很 庞 六 


图 1.5 ”Hadoop 的 数据 流入 原理 


Storm 


Storm 是 一 个 执行 实时 计算 的 标准 框架 ， 人 允许 你 基于 数据 传输 运行 额外 的 功能 ， 而 Hadoop 不 能 。 图 1.6 展 示 了 数据 是 如 何 
灌 入 Storm 的 。 


数据 基于 用 户 创 建 
的 事件 、 系 统 创 建 的 
事件 、 日 志 事 件 或 者 
其 他 事件 进入 系统 


数据 进入 系统 后 将 进行 
实时 运算 人 处理 ， 每 个 事件 
的 处 理 和 者 是 独立 的 


图 1.6 ”Storm 以 及 数据 流入 的 方式 


在 之 前 我 们 曾 提 到 ，Storm 将 数据 按照 类 别 导 入 到 流 处 理工 具 中 ， 并 维持 这 些 类 别 上 的 特性 ， 包 括 低 延 迟 率 和 快速 的 处 理 过 


程 。 事 实 上 ， 它 也 没 办 法 骨 快 了 。 


无 论 Hadoop 如 何 将 代码 在 数据 上 执行 移动 运算 ，Storm 做 的 是 将 数据 指向 代码 。 这 在 流 数 据 处 理 的 系统 中 显得 更 为 合理 ， 
因为 数据 集 是 没 办 法 预 估 的 ， 它 和 批 处 理 作业 不 同 ， 数 据 集 可 以 持续 不 断 地 指向 这 些 代 码 。 


另外 ，Storm 基 于 一 个 完善 的 架构 设计 ， 在 出 现 意外 的 时 候 ， 可 以 提供 一 套 非 常 重要 的 消息 处 理 保护 机 制 。Storm 基 于 的 是 
自己 的 集群 资源 管理 系统 ， 但 有 非 官方 资料 显示 ，Yahoo 曾 在 Storm. 上 运行 了 Hadoop 的 第 二 代 YARN 资 源 管理 器 ， 使 得 资源 可 
以 在 Hadoop 集 群 之 间 共 享 。 


Apache Spark 


和 Hadoop 的 MapReduce 类 似 ，Spark 是 一 个 类 似 的 批 处 理工 具 ， 也 能 运行 在 Hadoop 的 YARN 资 源 管理 器 之 上 。 有 意思 的 
一 点 束 是 ，Spark 人 允许 你 在 中 间或 是 结尾 处 ， 将 数据 组 三 至 内 存 中 (有 必要 也 可 以 将 输出 保存 到 磁盘 上 ) 。 这 种 特性 最 有 价值 的 
一 点 ， 就 是 特别 适用 于 在 一 个 相同 的 数据 集 上 反复 执行 运算 ， 并 且 能 将 上 一 次 运算 按照 一 定 算法 保留 ， 作 为 下 一 次 运算 的 输入 。 


Spark Streaming 


和 Storm 类 似 ，Spark Streaming 用 于 处 理 无 边界 的 流 数据 ， 但 不 同 点 在 于 ，Spark Streaming 不 会 将 数据 按照 类 别 导入 到 
流 处 理工 具 中 ， 取 而 代 之 的 是 将 其 导入 到 微型 批 处 理工 具 中 。Spark Streaming 是 建立 在 Spark 之 上 的 ， 它 需要 将 输入 的 流 数 据 
标记 成 一 个 个 数据 批 次 ， 以 便 执 行 操 作 。 也 就 是 说 ， 它 更 类 似 Storm 的 Trident 框 架 ， 而 不 是 Storm 本 身 。 因 此 Spark Streaming 
将 无 法 实现 较 低 的 延迟 率 ， 因 为 它 不 是 按照 Storm 的 同时 间 点 上 同时 处 理 的 方式 来 操作 的 ， 但 在 性 能 上 更 接近 于 Trident。 


Spark 的 缓 仔 机 制 同样 适用 于 Spark Streaming， 如 果 需 要 使 用 缓存， 你 需要 在 Storm 组 件 中 建立 并 维护 你 自己 的 内 存 绥 存 
(这 其 实 不 难 ， 也 很 常用 ) ， 但 Storm 在 内 部 却 没有 提供 这 样 的 机 制 。 


Apache Samza 


Samza 是 一 个 新 兴 的 流 数 据 处 理 系统 ， 是 由 LinkedIn ( 领 英 ) 团队 打造 ， 效 果 完 全 和 Storm 不 相 上 下 。 但 你 依然 会 友 现 一 
些 区 别 ， 这 里 无 论 是 Storm 还 是 Spark 或 者 Spark Streaming， 它 们 都 运行 在 基于 YARN 的 人 资源 管理 器 上 ， 而 Samza 则 是 与 
YARN 系 统 分 开 独 立 运行 的 。 


Samza 有 一 个 简单 且 易 于 理解 的 并 行 模型 ，Storm 的 并 行 模型 允许 你 在 更 细 的 维度 上 去 调试 并 行 性 。 在 Samza 中 ， 你 的 作 
业 Uob) 在 工作 流 中 的 每 一 阶段 (step) 都 是 独立 的 实体 (entity) ， 你 需要 使 用 Kafka 来 连接 这 些 实 体 。 在 Storm 中 ， 所 有 的 
阶段 都 是 由 一 个 内 部 系统 来 连接 的 (通常 为 Netty 或 者 ZeroMQ) ， 这 样 的 好 处 瓯 是 可 以 降低 延迟 率 。samza 有 一 个 优点 ， 融 是 
可 以 在 Kafka 队 列 之 间 安 插 检 查 点 ， 并 且 允 许多 个 独立 的 用 户 来 访问 这 个 队列 。 


正如 我 们 表面 提 到 的 ， 这 不 仅仅 是 在 大 量 工具 之 间 做 权衡 和 选择 ， 更 重要 的 是 ， 你 可 以 在 使 用 一 个 批 处 理工 具 的 同时 ， 配 合 
使 用 一 些 流 处 理工 具 。 事 实 上 ， 在 使 用 一 个 面向 批 处 理 的 系统 的 同时 ， 搭 配 一 个 面向 流 处 理 的 系统 ， 正 是 由 Storm 原 作者 
Nathan Marz 在 《大 数据 系统 构建 : 可 拓展 实时 数据 系统 构建 原理 与 最 佳 实践 》 (机 械 工业 出 版 社 ，2016 年 ) 一 书 中 讲 到 大 数 
据 处 理工 作 的 目标 。 


1.3 ”为 什么 你 希望 使 用 Storm 


现在 我 们 已 经 大 致 解释 了 Storm 在 大 数据 场景 应 用 中 的 位 置 ， 接 下 来 殊 对 论 下 为 什么 你 要 使 用 Storm 吧 。 在 本 书 中 ,我们 都 


一 址 试图 告诉 你 Storm 的 一 些 最 具 吸 引力 的 属性 : 
. 它 可 以 广泛 用 于 各 类 用 户 场景 中 。 
. 它 可 以 和 不 同 技术 协同 工作 。 


“ 它 具 备 可 扩展 性 ，Storm 可 以 轻松 将 工作 分 解 至 不 同 线程 上 ， 并 分 派 至 不 同 ]VM (Java 虚 拟 机 ) 上 ， 甚 至 是 不 同 的 物理 机 
上 ， 而 这 些 还 不 需要 在 你 的 代码 上 做 任何 调整 〈 只 需要 修改 配置 就 可 以 了 ) 。 


. 它 可 以 确保 每 个 输入 的 数据 至 少 会 被 处 理 一 次 。 


. 它 相 当 健 半 ， 你 也 可 以 称 之 为 高 容错 性 。Stotm 中 有 四 个 主要 的 组 件 ， 在 大 部 分 时 间 里 ， 摊 毁 任 何 一 个 组 件 都 不 会 中 断 数 
据 的 处 理 。 


: 它 与 使 用 的 编程 语言 无 关 ， 如 果 你 的 程序 能 在 JVM 上 执行 ， 它 就 可 以 在 Stortm 上 轻松 执行 。 即 使 没 法 在 JVM 上 执行 ， 如 果 你 
能 在 一 个 *nix 命 令 行 中 调用 它 ， 它 也 可 以 在 Stotm 上 正常 运行 (尽管 在 本 书 中 ， 我 们 将 限定 于 使 用 JVM 和 Java) 。 


我 想 你 们 一 定 会 及 现 这 样 的 摘 述 相当 令 人 印象 深刻 ，storm 对 于 我 们 来 员 ， 已 经 不 仅仅 是 一 个 用 于 处 理 扩展 的 工具 ， 而 且 更 
适用 于 容错 处 理 和 消息 保障 处 理 。 我 们 有 各 种 各 样 的 Storm 拓 扑 (Storm 有 一 大 段 代 码 来 指定 任务 的 分 配 ) ， 在 一 台独 立 的 计算 
机 上 由 一 个 Python 脚本 残 能 实现 全 部 运行 。 而 如 果 这 个 脚本 朋 汗 了 ，storm 此 时 将 展现 出 强大 的 容错 能 力 ， 并 选择 目 动 重启 ， 
然后 从 月 演 的 那个 时 间 点 继续 执行 。 所 以 ， 即 使 是 凌晨 3 点 的 时 候 你 也 不 会 收 到 一 个 报警 信息 ， 也 不 需要 在 早上 9 扣 的 时 候 ,给 
研发 副 忌 解释 为 什么 某 个 系统 出 现 了 宕 机 。Storm 最 棒 的 一 点 束 在 于 此 ， 它 可 以 基于 容错 机 制 提供 更 轻松 的 扩展 操作 。 


了 解 完 这 些 台 识 ， 我 想 你 已 经 准备 好 学 习 storm 的 核心 概念 了 ， 因 为 掌握 好 这 些 基 础 概念 ， 将 作为 我 们 后 续 讨 论 一 切 内 容 的 


一 提 。 


1.4 小 结 


在 本 章 中 ， 你 学 到 了 


“ Storm 是 一 个 可 以 持续 运行 的 流 处 理工 具 ， 它 将 监听 一 个 流 数 据 ， 并 且 在 这 些 数 据 上 执行 不 同类 型 的 处 理 。Storm 可 以 与 现 


有 的 很 多 技术 一 起 集成 ， 为 流 处 理 提供 具有 价值 的 解决 方案 。 


. 大 数据 的 定义 要 掌握 其 四 个 重要 特性 : 体 量 (数据 量 ) 、 速 度 (数据 流入 系统 的 速度 ) 、 多 样 性 (不 同类 型 的 数据 ) 、 真 
实 性 (数据 的 准确 性 ) 。 


. 有 三 个 主要 类 型 的 工具 来 处 理 大 数据 : 批 处 理 、 流 处 理 以 及 基于 流 的 微型 批 处 理 。 


“Storm 的 优势 包括 其 可 扩展 性 ， 对 每 个 消息 至 少 处 理 一 次 ， 健 壮 性 ， 以 及 支持 任何 语言 来 实现 开发 。 


第 2 章 Storm 核心 概念 


本 章 要 操 : 
* Storm 核 心 概 念 和 术语 
` 实现 你 第 一 个 Storm 程 序 的 基础 代码 


一 旦 理解 了 storm 的 核心 概念 ， 你 融会 铝 得 它们 其 实 很 简单 ， 但 想 要 擎 握 还 是 有 毕 难 厦 的 。 刚 入 门 的 时 候 你 可 能 会 很 难 理解 
执行 器 (executor) 和 任务 (task) ， 因 为 你 可 能 会 同时 接触 大 量 新 概念 。 所 以 本 书 采 用 了 一 种 循序 渐进 的 万 式 ， 尽 量 避 免 你 
在 同一 时 间接 触 大 量 新 的 概念 。 但 这 可 能 会 造成 某 些 概 念 解释 不 够 “完整 ”， 不 过 在 后 面 的 内 容 中 ， 我 们 会 延伸 各 知识 点 并 尽 可 
能 给 出 元 整 准确 的 解释 。 当 你 将 各 部 分 的 知识 点 连贯 起 来 ， 玖 能 理解 该 知识 点 的 全 部 细节 了 。 


2.1 问题 定义 : GitHub 提 交 数 监控 看 板 


让 我 们 先 从 一 个 大 家 都 熟悉 的 话题 开始 吧 : GitHub 的 代码 管理 。 相 信 大 多 数 开 友人 员 都 熟悉 GitHub， 无 论 是 用 于 管理 个 人 
项 目 ， 还 是 用 于 工作 或 者 用 来 与 其 他 开源 项 目 交互 。 


我 们 的 第 一 个 演示 项 目 融 是 要 创建 一 个 监控 看 板 ， 用 来 监控 车 个 代码 仓库 中 提交 操作 最 活跃 的 开 友 者 ， 并 实时 显示 提交 数 的 
统计 。 这 个 统计 计数 有 一 些 实 时 性 的 需求 ， 只 要 有 开 友 者 对 这 个 仓库 做 了 任何 变动 操作 ， 那 么 该 用 己 对 应 的 计数 必须 立即 更 新 。 
图 2.1 展 示 了 本 示例 项 目的 界面 。 


Storm Developer Commit Count 


并 Commits 
nathan@example.com 1210 
angytoexample.com 21] 
jackson@example.com 311 
derek@example.com 210 
meltmexample.com 201 


thomas@@example.com 159 


图 2.1 用 于 统计 代码 库 提交 情况 的 监控 看 板 界 面 


这 个 监控 看 板 非常 们 单 ， 它 包含 了 一 个 列表 ， 第 一 列 将 显示 对 本 代码 仓库 有 提交 操作 的 开 友 者 的 邮箱 ， 第 二 列 显示 对 应 开 友 
者 提交 数 的 实时 统计 。 在 讨论 怎么 借助 Storm 解 决 这 个 问题 之 前 ， 我 们 先 要 分 解 将 会 用 到 的 数据 。 


2.1.1 数据 : 起 点 和 终点 


在 这 个 场景 中 ,假定 GitHub 为 每 一 个 代码 库 都 提供 了 一 个 实时 的 数据 流 ， 其 中 包含 了 开 友 者 的 提交 消息 。 流 数据 中 的 每 一 
条 提交 数据 字符 串 包含 一 个 提交 ID， 紧 跟 一 个 空格 作为 分 隅 符 ， 然 后 是 提交 者 邮箱 。 代 码 清单 2.1 展 示 了 该 数据 沅 中 10 条 独立 提 
交 的 数据 沁 例 。 


代码 清单 2.1 。 GitHub 提交 数 据 源 中 的 数据 范例 


b20ea50 nathan@example.com 
064874b andy@example.com 
28e4f8e andy@example .com 
9a3e07f andy@example.com 
cbb9cal nathan@example.com 
0f663d2 Jackson@example .com 
0a4b984 nathan@example.com 
1915ca4 derek@example.com 


这 个 数据 源 融 是 本 项 目的 数据 起 点 ， 我 们 将 从 这 个 数据 沅 开始 ， 最 后 将 每 个 邮箱 的 提交 总 数 实时 地 展现 在 界面 上 。 为 了 简化 
问题 ,我们 可 以 理解 需要 做 的 是 在 内 存 中 保留 一 个 map (映射 ) 表 结 构 ， 表 中 的 主键 是 开 友 者 的 邮箱 ， 对 应 的 值 是 该 开 友 者 的 
提交 统计 总 数 。 那 么 这 个 表 的 结构 应 该 如 下 代码 所 示 : 


Map<String, Integer> countSBYyEmall = new HashMap<String, Integer>(); 


既然 现在 完成 了 数据 的 定义 ， 接 下 来 我 们 需要 定义 的 惑 是 每 一 步 操作 步 又， 并 确保 经 过 这 些 步 骤 乙 后， 映射 表 能 正确 啊 应 提 
交 数 统计 。 


2.1.2 分 解剖 题 


已 知 我 们 的 目标 是 从 一 个 提交 数据 产 中 ， 统 计 出 每 个 开 友 者 的 提交 数 ， 然 后 将 提交 者 的 email0 提 交 统 计数 存在 内 存 的 映射 


表 中 。 但 是 到 目前 为 止 ， 我 们 还 没有 明确 定义 如 何 达 成 这 个 目标 ， 所 以 现在 需要 先 将 问题 分 解 成 为 一 系列 更 小 的 步骤 ， 这 会 对 我 
们 设计 进一步 实现 有 所 帮助 。 首 先 把 这 些 步 又 定义 为 组 件 ， 它 可 以 接收 输入 的 数据 ， 或 者 在 输入 数据 上 做 一 些 计 算 操作 ， 然 后 产 


生 输 出 数据 。 将 这 些 组件 连 在 一 起 ， 最 终 就 可 以 构成 数据 从 起 点 到 终点 的 计算 路 径 。 针 对 本 问题 ， 我 们 提出 了 下 面 三 个 组 件 的 设 
计 : 


1. 第 一 个 组 件 从 实时 数据 源 中 读 取 提 人 交 数 据 的 摘要 信息 ， 并 和 输出 一 个 简单 包含 提交 内 容 的 消息 。 
2. 第 二 个 组 件 接收 产生 的 单个 提交 消息 ， 并 提取 出 其 中 开 友 者 的 email， 输 出 该 email 账 号 。 
3. 第 三 个 组 件 接收 开 上 者 的 email 账 号 ， 然 后 在 内 存 映 射 表 中 得 找 主 键 为 该 email 的 对 应 字段 ， 更 新 其 中 提交 效 的 值 。 


在 本 章 中 ， 我 们 将 把 问题 分 解 为 多 个 组 件 。 在 下 一 章 中 ， 我 们 将 更 深入 讨论 如 何 将 这 些 组 件 在 Storm 中 实现 。 但 在 此 之 前 ， 
请 仔细 审视 图 2.2， 它 展示 了 每 个 组 件 以 及 它们 的 输入 和 输出 效果 。 


"Ub648/4b natnantexample.com" 


"V64d874pbp nathana@example.com" 


从 提交 事件 
\ 中 提取 email 


"nathandexample.com" 


， 


更 新 email 


的 计数 硕 


图 2.2 ”提交 计数 问题 通过 定义 输入 输出 而 分 解 为 一 系列 步骤 


图 2.2 展 示 了 我 们 的 基本 方案 ,包括 如 何 从 数据 源 中 获取 数据 ， 并 将 计数 统计 结果 存在 内 存 映射 表 中 。 所 以 最 终 我 们 只 需要 


三 个 组 件 ， 每 个 组 件 都 仪 包含 一 个 简单 的 功能 。 现 在 ,我 们 已 经 解决 了 问题 定义 ， 并 整理 了 解决 方案 的 思路 ， 那 么 就 可 以 在 


Storm 环境 下 去 构思 如 何 实 现 了 。 


2.2 ” Storm 基础 概念 


为 了 帮助 你 理解 Storm 中 的 核心 概念 ， 我 们 先 来 回顾 一 下 Storm 中 的 常用 术语 。 对 于 本 章 中 的 示例 项 目 ， 首 先 来 看 看 Storm 
中 最 基本 的 组 件 : 拓扑 (topology) 。 


2.2.1 拓扑 
为 了 更 好 理解 什么 是 拓扑 ， 我 们 先 回 到 示例 工程 中 。 想 象 一 下 ， 将 几 个 结 点 用 有 向 边 直接 连 起 来 ， 就 组 成 一 个 简单 的 线形 


图 ， 再 试想 如 果 其 中 每 个 结 点 代表 一 个 简单 的 处 理 或 者 计算 过 程 ， 每 条 边 代 表 上 一 个 结 点 的 处 理 结果 并 传递 到 下 一 个 结 点 作为 其 
输入 ， 如 图 2.3 所 示 ， 清 晰 展示 了 我 们 刚才 的 摘 述 。 


图 2.3 ”拓扑 是 由 表示 计算 的 结 点 与 表示 计算 结果 的 边 组 成 的 图 


Storm 拓扑 惑 是 这 样 的 一 个 计算 图 ， 结 点 (node) 代表 一 些 独立 的 计算 ， 边 (edge) 代表 结 点 间 数 据 的 传递 。 我 们 通过 向 
这 个 图 注入 一 些 数 据 来 达到 我 们 的 目标 ， 这 有 具体 代表 什么 谷 义 呢 ? 我 们 接着 回 到 案例 中 来 ， 详 细 展 示 刚 才 讨 论 的 内 容 。 


经 过 对 案例 问题 的 模块 化 分 解 ， 我 们 可 以 基于 拓扑 的 定义 ， 将 模块 和 组 件 一 一 匹配 上 去 。 图 2.4 展 示 了 这 种 对 应 关系 。 


[Fese7ar nathanQexample.com" 


从 数据 源 中 
读 取 提交 事件 


"064874b nathan@example.com" 


我 们 最 初 的 设计 原型 ， 
如 何 将 这 个 计算 图 分 解 , [从 提交 事件 中 
并 由 数据 源 来 驱动 结 点 \、 近 取 email 
和 边 呢 ? 


"nathan@Qexample.com" 


更 新 email 
的 计数 需 


用 于 计算 的 结 点 


扮演 了 最 简单 的 计 0 
算 模 型 提取 email 


更 新 email 


的 计数 需 


osse7ar nathanQ@example.com" 


从 数据 源 中 


“个 实时 重新 的 读 取 提交 事件 


提交 效 摘要 


从 提交 事件 中 
提取 email 


更 新 email 
的 计数 硕 


从 数据 源 中 
读 取 提交 事件 


"064874b nathan@example.com" 

边 在 图 中 用 于 

表示 数据 在 结 点 
之 间 的 传输 


从 提交 事件 中 
提取 email 


"nathan@example.com" 


更 新 email 


的 计数 各 


图 2.4 将 设计 应 用 到 Stotm 的 拓扑 上 


我 们 在 定义 拓扑 时 提 到 的 每 个 概念 ， 都 可 以 在 案例 的 设计 中 找到 对 应 关系 。 事 实 上 ， 真 实 的 拓扑 会 由 大 量 的 结 点 和 边 组 成 ， 
并 由 提供 连续 数据 流 的 数据 源 来 驱动 ， 所 以 我 们 的 设计 非常 契合 Storm 的 框架 。 那 么 现在 ， 既 然 理解 了 什么 是 拓扑 ， 我 们 就 继续 
深入 到 拓扑 中 ， 看 看 每 个 独立 的 组 件 吧 。 


2.2.2 元 组 


元 组 (tuple) 是 拓扑 中 结 点 之 间 传 输 数据 的 形式 ， 它 本 身 是 一 个 有 序 的 数值 序列 ， 其 中 每 个 数值 都 会 被 赋予 一 个 命名 。 一 
个 结 点 可 以 创建 元 组 ， 然 后 友 送 (可 选 ) 至 任意 其 他 结 点 ， 这 个 发 送 元 组 到 任意 结 点 的 过 程 ， 称 作 友 射 (emit) 一 个 元 组 。 


有 一 个 很 重要 的 问题 需要 注意 ， 束 是 上 面 提 到 元 组 中 每 个 值 都 被 赋予 了 一 个 命名 ,但 这 并 不 意味 着 一 个 元 组 是 一 个 键 值 对 列 
表 。 因 为 如 果 是 键 值 对 列表 ， 那 将 意味 着 键 名 也 是 元 组 的 一 部 分 ， 但 实际 上 ,一 个 元 组 只 是 一 系列 数值 的 列表 ，Storm 本 身 提供 
了 一 种 机 制 来 为 列表 中 的 每 个 数值 赋予 命名 ， 我 们 将 在 本 章 后 面 讨论 这 些 命名 的 具体 赋值 方式 。 


在 本 书 的 剩余 部 分 中 ， 当 在 图 中 展示 元 组 时 ， 由 于 列表 中 与 数值 关联 的 命名 十 分 重要 ， 所 以 我 们 约定 元 组 包含 了 名 称 和 数 
值 ， 如 图 2.5 所 示 。 


方 手写 表示 你 有 所 有 的 列表 仁 


Inamel="valuel", name="value2" | 


TT 
命名 被 分 配给 信 ， 而 效 但 如 未 元 组 中 不 止 一 个 


这 个 命名 并 不 会 随 着 元 数值 ， 那 么 将 以 逗号 作 
组 传输 至 下 一 个 结 点 为 分 隔 符 


图 2.5 本 书 中 元 组 内 的 显示 格式 
八 于 我 们 约定 了 元 组 的 标准 格式 ， 那 么 焉 可 以 定义 折 扑 中 两 种 类 型 的 元 组 了 : 
: 提交 消息 中 包含 提交 ID 和 开发 者 的 email 地 址 。 
: 开发 者 的 email 地 址 。 


我 们 需要 为 这 两 种 元 组 分 别 命名 ， 例 如 可 以 分 别 命 名 为 “commit” 和 “email” (具体 怎样 命名 将 在 后 面 的 代码 中 提 
到 ) 。 图 2.6 展 示 了 元 组 在 拓扑 中 的 位 置 。 

同一 个 元 组 中 值 的 类 型 是 动态 的 ， 并 且 不 需要 提前 声明 。 但 是 Storm 需 要 知道 如 何 对 这 些 值 执行 序列 化 ， 以 便 让 它 可 以 在 拓 
扑 的 结 点 间 实 现 元 组 的 传递 。Storm 已 经 知道 如 何 去 序 列 化 原 语 类 型 ， 但 如 果 是 上 自 定 义 的 类 型 ， 那 需要 你 提供 对 应 目 定 义 的 序列 
化 万 法 ， 如 果 目 定义 万 法 不 存在 ， 那 么 就 需要 回调 标准 的 Java 序 列 化 方法 。 

我 们 很 快 就 讨论 关于 这 部 分 的 代码 ， 但 目前 最 重要 的 是 理解 storm 中 的 术语 和 不 同 概念 之 间 的 关系 。 当 你 已 经 理解 了 元 组 概 
念 之 后 ,下 一 步 束 可 以 学 习 Storm 核 心 的 抽象 概念 了 : stream ( 流 ) 。 
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图 2.6 ”在 拓扑 中 的 两 个 元 组 : 一 个 是 用 于 处 理 提交 的 消息 ， 另 一 个 用 于 处 理 email 


2.2.3 流 


根据 Storm 维 基 中 的 摘 述 ， 一 个 流 是 一 个 “无 边界 的 元 组 序列 ”， 这 是 关于 流 最 恰当 的 解释 。 在 拓扑 中 ， 一 个 流 是 拓扑 中 两 


个 结 点 间 一 个 无 边界 的 元 组 序列 。 一 个 拓扑 可 以 包含 任意 数量 的 流 ， 除 了 拓扑 中 第 一 个 结 点 是 从 数据 源 读 取 数据 外 ， 每 个 结 点 可 
以 接收 一 个 或 多 个 流 作 为 输入 。 通 剃 结 点 会 计算 或 转换 这 些 输 入 流 中 的 元 组 ， 然 后 友 册 新 的 元 组 ， 从 而 创建 新 的 输出 流 ， 这 些 输 


出 流 会 作为 后 续 结 点 的 输入 流 ， 以 此 类 推 。 


在 GitHub 提 交 统 计 的 拓扑 中 有 两 个 流 ， 第 一 个 流 的 起 始 结 点 不 断 从 数据 源 读 取 提 交 消 息 ， 并 向 终止 结 点 友 射 囊 有 提交 消息 
的 元 组 ， 终 止 结 点 则 从 中 提取 出 email 信 息 。 第 二 个 流 的 起 始 结 点 为 提取 的 email 信 息 ， 这 个 结 点 将 把 提取 出 的 email 地 址 作为 新 


的 输入 流 ， 并 成 为 最 后 一 个 结 点 的 输入 流 ， 而 最 后 这 个 结扎 将 负责 更 新 内 存 中 映射 表 内 的 统计 数据 。 图 2.7 展 示 了 完整 的 流程 演 
未 。 
这 个 GitHub 提 交 数 统计 的 Storm 场 景 仅仅 是 一 个 非常 简单 的 链 式 流 (多 个 流连 接 在 一 起 ) 。 


复杂 流 


数据 流 不 可 能 忌 像 我 们 这 个 场景 中 的 流 那 么 简单 ， 如 图 2.8 所 示 ， 该 图 展示 了 一 个 拥有 四 个 不 同 流 的 拓扑 。 其 中 第 一 个 结 点 
及 射 的 元 组 会 被 两 个 后 续 结 点 消费 ， 这 惑 形 成 了 两 个 不 同 的 流 ， 而 两 个 后 续 结 点 各 目 友 射 元 组 产生 的 流 ， 将 形成 各 目 新 的 输出 


zs 
Jibo 
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提取 email 


更 新 email 
的 计数 器 / 


图 2.7 认识 拓扑 中 的 两 个 流 


图 2.8 ”拥有 四 个 流 的 拓扑 
这 些 无 边界 的 流 采 取 不 同方 式 执行 创建 、 分 裂 或 者 重新 连接 的 操作 ， 可 以 实现 无 穷 无 尽 的 组 合 。 本 书后 面 的 例子 会 深入 讨论 
各 种 复杂 的 流 ， 以 及 为 什么 要 这 样 设计 一 个 元 组 。 而 现在 ,我 们 继续 演示 这 个 入 门 范 例 ， 接 下 来 将 讨论 一 下 拓扑 的 输入 数据 源 
2.2.4 spout 


一 个 spout 是 拓扑 的 流 数据 源头 ，spout 通 常 
列 、 灶 


会 从 外 部 数据 源 读 取 数据 并 且 向 拓扑 中 发 射 元 组 ， 它 可 以 实现 监听 包括 消息 队 
j、 数 据 库 或 者 任何 其 他 数据 输入 源 。 在 我 们 的 例子 中 ， 监听 肯 
入 Storm 拓扑 中 ， 如 图 2.9 所 示 


spout 监 听 的 是 GitHub 中 代码 仓库 的 提交 消息 ， 并 将 这 些 实时 数据 灌 


spout 没 有 对 数据 处 理 的 过 程 ， 它 们 仅仅 作为 数据 流 的 源头 ， 从 数据 源 读 取 数 据 ， 然 后 向 bolt 类 型 的 结 点 友 射 元 组 。 


nathandexampjle.com" 


spout 在 拓扑 中 是 从 数据 源 中 
整个 数据 流 的 源头 \ 读 取 提 区 事件 


[commit="064874b nathan@example .com 


| 


从 提交 事件 
中 提取 email 


[emal1="nathanaexample.conm'" 


更 新 email 


的 计数 器 


图 2.9 ”一 个 从 数据 源 读 取 提交 消息 的 spout 


2.2.5 bolt 

不 同 于 spout 只 负责 监听 数据 源 ，bolt 可 以 完成 从 输入 流 的 元 组 接收 ， 对 元 组 进行 计算 或 转换 操作 ， 如 过 滤 、 聚 合 和 连接 
等 ， 以 及 可 能 会 友 射 新 的 元 组 形成 输出 沈 。 

我 们 的 例子 中 包含 下 面 两 个 bolt: 


. 从 提交 的 消息 中 提取 开发 者 email 地 址 的 bolt， 这 个 bolt 从 输入 流 中 接收 包含 提交 ID 和 开发 者 emaill 的 元 组 ， 并 从 元 组 中 提取 


email 地 址 ， 发 射 只 包含 email 地 址 的 新 元 组 作为 它 的 输出 流 。 


. 更 新 内 存 中 映射 表 的 bolt， 这 个 bolt 从 输入 流 中 接收 仅 包 含 email 地 址 的 元 组 。 因 为 这 个 bolt 只 更 新 内 存 中 的 映射 表 ， 不 发 射 


新 的 元 组 ， 所 以 它 不 会 产生 输出 流 。 


上 述 pbolt 的 展示 效果 如 图 2.10 所 示 。 


我 们 例子 中 的 bolt 都 十 分 简单 ， 在 本 书后 面 的 章节 中 ， 你 会 创建 做 更 复杂 转换 操作 的 bolt， 包 括 从 多 个 输入 流 读 取 数 据 ， 然 
后 产生 多 个 输出 流 。 但 首先 你 要 明白 bolt 和 spout 在 实际 中 是 如 何 工作 的 。 


bolt 和 spout 是 如 何 工 作 的 


如 图 2.9 和 图 2.10 所 示 ，spout 和 bolt 都 显示 为 一 个 独立 的 组 件 ， 仪 从 远 辑 视角 看 这 是 没 问 题 的， 但 当 讨 论 到 它们 是 如 何 工 作 
的 时 候 ， 丈 需要 更 深入 地 理解 和 认识 了 。 在 一 个 运行 的 拓扑 中 ， 通 党 有 大 量 的 bolt 和 spout 实 例 并 行 运行 。 如 图 2.11 所 示 ， 从 提 
交 消 息 中 提取 email 的 bolt 和 更 新 内 存 映射 表 的 bolt 束 分 别 有 三 个 实例 在 运行 ， 请 注意 观察 ， 一 个 独立 的 bolt 实 例 是 怎样 向 另 一 
个 单独 的 bolt 实 例 友 射 元 组 的 。 


| 从 数据 源 中 ， 


\ 读 取 提 交 事 件 | 


从 提交 事件 
\ 中 提取 emall | 


有 时 它们 会 咎 用 于 转换 输 
人流， 并 生成 新 的 输出 流 
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图 2.10 “bolt 处 理 提 交 的 包含 email 等 信息 的 消息 


如 图 2.11 所 示 ， 这 仅仅 是 一 种 bolt 之 间 友 送 元 组 的 场景 ， 在 现实 应 用 中 ， 则 更 像 是 如 图 2.12 所 示 ， 左 侧 的 每 个 bolt 实 例 都 会 
癌 石 侧 bolt 中 多 个 实例 及 射 元 组 。 


从 数据 源 的 提交 数据 
流 中 解析 出 email 地 址 


更 新 email 计数 大 


[emalill="nathan@example.com"l] 


[email="andy@example.com")] 


[emalil="Jackson@example.com"] 


图 2.11 通 第 情况 下 bolt 会 有 多 个 实例 向 另外 一 个 bolt 中 的 多 个 实例 发 射 元 组 


通过 对 spout 和 bolt 实 例 的 分 解 ， 非 常 有 助 于 理解 Storm。 在 深入 了 解 下 一 个 概念 之 前 ， 我 们 先 来 总 结 一 下 已 经 学 到 的 概念 
重点 : 


从 效 据 源 的 捉 交 数据 


流 中 解析 出 email 地 址 更 新 email 计数 着 


图 2.12 ”每 个 bolt 实 例 都 会 向 下 一 个 bolt 中 多 个 实例 发 射 元 组 


一 个 拓扑 包含 大 量 结 点 和 边 。 
结 点 代表 spout 或 者 bolt。 
` 边 代 表 结 点 间 的 元 组 流 。 
一 个 元 组 是 一 个 有 序 的 数值 列表 ， 每 个 数值 都 被 赋予 一 个 命名 。 
一 个 数据 流 是 一 个 在 spout 和 bolt 或 者 两 个 bolt 之 间 的 无 边界 元 组 序列 。 
一 个 spout 是 拓扑 的 数据 源头 ， 通 常 它 会 监听 某 些 活动 的 数据 源 。 


一 个 bolt 接 收 来 自 一 个 spout 或 另 一 个 bolt 的 输入 流 ， 通 党 对 输入 流 中 的 元 组 进行 一 些 计 算 或 转换 操作 。bolt 可 能 会 发 射 新 的 
元 组 来 作为 拓扑 中 某 些 其 他 bolt 的 输入 流 。 


“ 在 实际 运行 中 ， 每 个 spout 和 bolt 会 同时 运行 一 个 或 多 个 独立 的 实例 ， 并 行 地 进行 相应 的 数据 处 理 。 


因为 有 很 多 的 概念 ， 所 以 在 继续 向 下 学 习 之 前 ， 一 定 要 先 理解 远 彻 。 准 备 好 了 吗 ? 不 错 ! 在 演示 代码 乙 前 ， 我 们 还 需要 了 解 


一 个 重要 的 概念 : 目 (stream grouping) 。 


到 目前 为 止 ， 你 已 经 理解 了 一 个 数据 流 是 存在 于 spout 和 bolt 或 两 个 bolt 之 间 的 无 边界 元 组 序列 ， 那 么 流 分 组 就 定义 了 元 组 
是 如 何在 spout 和 bolt 实 例 乙 间 进 行 传送 。 这 样 谤 意味 看 什么 呢 ” 回 顾 一 下 我 们 的 示例 拓扑 ， 这 个 拓扑 包含 两 个 沅 ， 其 中 每 个 流 
都 会 定义 目 己 的 流 分 组 ， 并 告诉 Storm 需 要 如 何在 spout 和 0bolt 实 例 间 传递 元 组 ， 如 图 2.13 所 示 。 


"Ub648/4p nathnangdexample.com" 


从 数据 源 中 


每 个 流 部 有 目 己 的 流 
分 组 ， 这 些 流 分 组 定义 

元 组 是 如 何在 spout 
和 bolt 之 加 进行 发 送 的 


更 新 email 
的 计数 器 


图 2.13 ”拓扑 中 的 每 个 流 都 有 其 自己 的 分 组 


Storm 提 供 了 几 种 类 型 的 流 分 组 ， 本 书 会 提 到 其 中 的 大 部 分 类 型 。 在 本 章 中 ， 我 们 先 来 考虑 其 中 的 两 种 : 随机 (shuffle) 


分 组 和 字段 (field) 分 组 。 


spout 和 第 一 个 bolt 之 间 使 用 的 是 随机 分 组 ， 这 里 的 随机 分 组 是 一 种 将 元 组 随机 分 友 到 bolt 实 例 中 的 一 种 分 组 形式 ， 如 图 
“2.14 上 所 泵 。 


从 数据 产 中 从 提交 事件 
谈 取 拓 交 事件 中 提取 email 


在 这 个 范例 中 ， 你 可 以 看 到 
两 个 包 仿 nathan@example.com 
的 元 组 会 被 随机 分 发 到 任意 一 
个 bolt 的 实例 中 


图 2.14 在 spout 与 第 一 个 bolt 之 间 使 用 随机 分 组 


在 示例 中 的 这 一 部 分 ， 由 于 我 们 并 不 关心 spout 是 如 何 上 发 射 元 组 到 bolt 实 例 的 ， 所 以 选择 了 随机 分 组 来 随机 分 友 元 组 。 使 用 
随机 分 组 时 ， 需 要 确保 每 个 bolt 实 例 能 接收 到 尽 可 能 数量 相等 的 元 组 ， 以 便 人 在 bolt 实 例 乙 间 实 现 负载 均衡 。 需 要 注意 的 是 ， 随 机 
分 组 及 用 的 是 随机 策略 而 不 是 轮 询 策 略 ， 所 以 并 不 能 保证 严格 的 均 分 。 


随机 分 组 在 你 对 数据 如 何 分 友 上 没有 特殊 需求 的 场景 下 是 非常 有 用 的 。 但 当 你 遇 到 随机 分 友 数 据 到 bolt 实 例 不 能 满足 你 需求 
的 场景 时 ， 例 如 在 我 们 的 示例 中 ， 负 责 提取 email 地 址 的 bolt 在 向 负责 更 新 内 仔 映 射 表 的 bolt 友 射 元 组 时 ， 残 不 能 使 用 随机 分 


组 ， 这 时 我 们 需要 另外 一 种 类 型 的 流 分 组 来 解决 这 个 问题 。 
字段 分 组 
负责 提取 email 地 址 的 bolt 和 和 负责 更 新 内 存 映射 表 的 bolt 之 间 束 需要 使 用 字段 分 组 ， 因 为 字段 分 组 能 保证 将 特定 字段 上 值 相 


同 的 元 组 友 射 到 同一 个 bolt 实 例 。 为 了 理解 为 什么 第 二 个 流 需 要 用 字段 分 组 ,我 们 来 看 下 使 用 内 存 映射 表 是 如 何 记 录 每 个 email 
账户 对 应 的 提交 忆 数 结果 的 。 


每 个 bolt 实 例会 有 目 己 的 内 存 映 丑 表 来 记录 email/commit 配 对 统计 结果 ， 所 以 必须 将 相同 email 账 号 的 元 组 友 送 到 相同 的 
bolt 实 例 中 ， 才 能 准确 更 新 所 有 bolt 实 例 中 的 每 个 email 计 数 器 ， 而 字段 分 组 提供 的 正 是 这 样 的 功能 ， 如 图 2.15 所 示 。 


在 这 个 例子 中 ， 由 于 决定 使 用 内 存 映射 表 来 记录 提交 数 的 统计 值 ， 使 得 我 们 必须 使 用 字段 分 组 。 当 然 ， 我 们 也 可 以 考虑 使 用 
一 种 能 够 在 多 个 bolt 实 例 乙 间 ， 通 过 共享 数据 结构 的 万 式 来 记录 统计 值 ， 这 样 也 能 满足 需求 。 在 第 3 章 和 后 面 章 节 中 ， 我 们 会 探 
索 如 何 设 计 和 实现 这 种 想法 。 但 现在 ,我 们 得 先 专注 在 如 何 通 过 代码 来 让 我 们 现在 设计 的 拓扑 运转 起 来 。 


从 数据 源 中 从 提交 事件 
读 取 提交 事件 中 提取 email 


| 油 全 | 中 向 令 本 A 
[emalill="nathanQ@example.com"] 江 例 中 包含 nathan@example.com 的 


元 组 将 只 会 被 发 送 到 同一 个 bolt 实例 

中 ， 这 意味 着 以 nathan@example.com 
作为 键 值 (key ) 的 数据 只 会 出 现在 一 
个 映射 表 中 


[emal1="J]Jacksoneexample.com'" ] 


这 个 字段 分 组 被 定义 为 email 字 自 


[email="andy@example.com"] () 


图 2.15 ”使 用 字段 分 组 的 bolt 拥 有 独立 的 内 存 映 射 表 


2.3 ”在 Storm 中 实现 GitHub 提 交 数 监控 看 板 


现在 我 们 已 经 了 解 完 Storm 所 有 重要 的 概念 ， 是 时 候 开 始 写 自己 的 拓扑 了 。 在 这 一 节 里 ， 我 们 将 先 介绍 Storm 的 相关 接口 
(interface) 和 类 (class) 的 代码 ， 然 后 通过 理解 Storm API 的 结构 ， 全 面 帮 助 你 熟悉 拓扑 的 相关 代码 。 


在 介绍 元 bolt 与 spout 的 代码 之 后 ， 我 们 残 可 以 将 两 部 分 代码 合并 了 。 如 果 你 还 记得 前 面 的 讨论 ， 我 们 的 拓扑 还 包含 流 与 流 
分 组 ， 那 么 gppout 和 bolt 的 代码 将 只 是 其 中 一 小 部 分 ， 你 仍然 需要 去 定义 元 组 在 哪 里 产生 ， 如 何在 组 件 乙 间 进 行 友 射 。 在 对 拓扑 
构建 的 讨论 中 ， 你 将 遇 到 Storm 的 配置 选项 问题 ， 大 部 分 会 在 后 续 做 更 加 详细 的 讲解 。 


最 后 ， 在 通过 定义 流 和 流 分 组 之 后 ， 残 可 以 把 拓扑 的 所 有 组 件 寺 整 串 在 一 起 了 。 接 下 来 我 们 将 演示 如 何在 本 地 运行 你 的 拓 
扑 ， 你 也 可 以 通过 测试 运行 的 方式 ， 验 证 是 否 一 切 都 运转 正常 。 在 接触 代码 之 前 ， 我 们 得 先 学 习 如 何 设置 基础 Storm 工 程 。 


2.3.1 建 V 一 个 Storm 工 程 


获取 Storm JARs 包 的 最 简单 方法 束 是 使 用 Apache Maven。 


注意 


其 他 建立 Stotm 工 程 的 方法 可 以 从 http://storm.apache.otg/documentation/ Creating-a-new-Stotm-ptoject.html 中 查找 到 ， 但 是 


Maven 是 目前 为 止 最 简单 高 效 的 。 你 可 以 从 http://maven.apache.org/ 查 看 Maven 的 相关 信息 。 
如 代码 清单 2.2 所 示 ， 列 出 了 这 个 工程 的 pom.xml 文 件 内 容 。 
代码 清单 2.2 pom.xml 


<project> 


<dependencies> 


<dependency> 


这 是 在 撰写 本 书 过 程 中 
最 新 的 Storm 版 本 


<groupId>org.apache.storm</groupId> 
<dartifactId>storm-core</artifactId> 
<Version>0.9.3/version> 


<!-—- <Scope>provided</scope> --> 


在 一 个 真实 集群 中 部 署 拓扑 时 ， 
scope 参数 需要 设置 为 provided， 
日 旦 这 里 为 了 便于 学 习 和 理解 我 
</dependencies> A 学习 和 和 理解， 我 

} 避 Y ww 习 六 十 让 

</project> 有] 本 以 先 注 笃 返 


</dependency> 


一 旦 把 这 些 代码 添加 到 你 的 pom.xml 文 件 中 ， 那 么 你 融 拥 有 了 在 本 机 编写 并 运行 拓扑 的 所 有 环境 依赖 。 


2.3.2 ”实现 spout 


由 于 spout 是 数据 进入 拓扑 的 地 方 ， 所 以 我 们 先 编写 这 部 分 的 代码 。 在 进入 编码 之 前 ， 我 们 先 来 看 看 Storm 中 spout 的 通用 
接口 和 类 结构 。 图 2.16 展 示 了 相关 类 层级 。 


/~ <<interface>> <<interface>> — 9 
定义 了 spout 的 职责 TSPOUt IComponent 


通用 拓扑 组 件 的 接口 〈 包 
括 spout 和 bolt ) ， 这 个 接口 
定义 了 组 件 的 配置 和 输出 


<<interface>> 
IRichSpout 一 个 完整 的 spout 接口 ， 包 
售 了 ISpout 和 IComponent 


IRichSpout 的 部 分 实现 ， 这 个 
ls Richs EE pd i 
ee he 是 我 们 继承 实现 spout 的 基 类 


图 2.16 ”Storm 中 有 关 spout 类 的 层次 


在 我 们 的 设计 中 ，spout 基 于 GitHub 的 API 监 听 某 指定 GitHub 项 目 仓库 的 动态 ， 并 将 变动 情况 发 射 为 元 组 ， 每 个 元 组 包含 
针对 该 仓库 的 全 部 提交 消息 ， 如 图 2.17 所 示 。 


配置 一 个 spout 去 监听 实时 的 提交 数据 流 ， 涉 及 大 量 的 额外 工作 ， 这 对 于 理解 基本 代码 而 言 ， 会 明显 分 散 我 们 的 精力 和 重 
上 扣 。 所 以 ,我 们 的 spout 会 采取 以 下 万 式 模 拟 真 实 的 提交 流 : 从 一 个 文件 中 读 取 提交 消息 ， 基 于 文件 中 每 一 行 ， 持 续 友 射 一 个 个 
元 组 。 当 然 也 不 要 担心 ， 后 面 章 节 中 我 们 再 来 完善 spout 以 文 持 实 时 的 数据 沅 输 入 有 采集， 但 现在 仪 需要 天 注 基 础 功能 。 紧 接着 
spout 类 文件 的 changelog.txt 文 件 包 含 了 所 期 望 格式 的 提交 消息 〈 如 代码 清单 2.3 所 示 ) 。 


natnandexarn 咱 娄 相国 三 考 : 


从 数据 源 中 \ 
\ 读 取 提交 事件 


[commit="064874b nathan@example.com"] 


从 提交 事件 
中 提取 email 


[emal1="nathanmnaeexample.com'" 


| 
的 计数 器 


图 2.17 spout 监 听 提 交 消 息 并 且 为 每 次 产生 新 的 提交 发 射 元 组 
代码 清单 2-3 一 个 简单 的 数据 源 changelog.txt 以 及 期 望 格式 的 范例 


b20ea50 nathan@example.com 
064874b andy@example.com 
28e4f8e andy@example.com 
9a3e07f andy@example.com 
cbb9cdl nathan@example.com 
0f663d2 jackson@example.com 
0a4b984 nathan@example.com 
1915ca4 derek@example.com 


既然 我 们 已 经 定义 了 数据 源 ， 那 么 便 可 以 将 视线 转移 到 spout 的 代码 实现 上 了 ， 代 码 如 代码 清单 2.4 所 示 。 


程序 清单 2-4 CommitFeedListener.java 


public class CommitFeedListener extends BaseRichSpout { < 二 -一 


县 人 仁 7 其 看 
private SpoutOutputCollector outputCollector.,; < 一 

- ' ， 力 能 的 区 
HA>private List<String> commits,; ; 到 在 
需要 我 们 重 写 

从 a 发 射 元 组 i 
So EXE 三 个 方法 
件 中 读 取 提交 的 消息 列表 
QOverride y 
NN Spout 


public void declareOutputFields (OutputFieldsDeclarer declarer) {4 
declarer.declare(new Fields ("commit")).; < 


发 射 的 所 有 元 
组 定义 字段 全 


od 


了 


QOverride 


public void open(Map configMap, 表示 发 射 
表 不 Spout 友 别 一 


在 Storm 准 TopologyContext context, 
个 命名 为 commit 的 
备 运 行 spout SpoutOutputCollector outputCollector) { PR J I 上 
时 调用 了 OOEEUECGTL Ca = OUtDUtLCOL Lecotors 子 相 
| 
commits = IOUL11S .reaaQLlines ( 二 
ClassLoader.getSystemResourceAsStream("changelog.txt"), 恋 取 changelog. 
Charset .aqaefaultCharset () .name ( ) txt 的 内 容 到 字符 串 


区 列表 中 
} catch (IOException e) { 
throw new RuntimeException(e).,; 


} 
当 spout 准备 读 取 下 一 个 元 

QOverride 组 的 时 候 ， 由 otorm 调 用 
public void nextTuple() ({ < 二 -一 

EE (SEEING COmMmit. > Commitsy 挝 

outputCollector.emit (new Values (Commlt) ) ; ”为 每 个 提交 消息 发 射 
/ /HH /> 
} 一 个 元 组 


spout 代 码 有 相当 多 的 内 容 需 要 说 明 ， 我 们 首先 继承 了 BaseRichSpout， 这 里 有 三 个 方法 需要 重 写 。 第 一 个 方法 是 
declareOutputFields， 还 记得 本 草 前 面部 分 ， 我们 曾 提 到 Storm 是 如 何 为 元 组 命名 的 么 ? 现在 就 到 这 里 了 。 
declareOutputFields 方 法 定义 了 spout 帮 射 的 元 组 中 值 的 命名 ， 为 友 射 的 元 组 中 值 命 名 的 类 是 Fields， 它 的 构造 函数 可 以 创建 多 
个 不 同 的 字符 串 ， 每 个 字符 串 就 是 发 射 元 组 中 值 的 名 称 。 Fields 类 构造 函数 中 的 命名 顺序 ， 必 须 和 发 射 元 组 中 值 的 顺序 匹配 ， 而 
元 组 中 值 的 顺序 则 由 Values 类 来 定义 。 因 为 spout 中 友 射 的 元 组 只 有 一 个 简单 的 值 ， 所 以 这 里 只 需要 将 一 个 简单 的 参数 commit 
传递 给 Fields 即 可 。 


第 二 个 需要 重 写 的 方法 是 open， 这 个 方法 是 我 们 将 changelog.txt 文 件 中 的 内 容 读 取出 来 并 存放 到 我 们 的 字符 串 列 表 。 如 果 
我 们 需要 重 写 的 spout 接 入 的 是 实时 在 线 的 数据 流 ， 例 如 一 个 消息 队列 ， 那 么 open 方 法 就 是 用 来 配置 连接 数据 源 的 地 方 ， 在 第 3 
章 中 将 讨论 更 多 相关 细 记 。 

最 后 一 个 需要 重 写 的 方法 是 nextTuple， 当 Storm 准 备 好 由 spout 读 取 数 据 ， 并 发 射出 一 个 新 元 组 时 会 调用 这 个 方法 ， 通 常 
Storm 会 按 特 定 的 周期 来 定时 调用 。 人 在 我 们 的 例子 中 ， 每 当 调 用 nextTuple， 我 们 都 将 为 列表 中 的 每 个 值 友 射 一 个 新 元 组 ， 但 如 
果 从 一 个 在 线 的 实时 数据 源 中 读 取 数据 ， 比 如 从 消息 队列 中 获取 数据 ， 那 么 只 有 当 数 据 源 准 备 好 一 个 完整 数据 之 后 ， 才 会 触 友 上 
射 一 个 新 元 组 。 


你 也 会 注意 到 这 里 出 现 了 一 个 SpoutOutputCollector 类 ， 它 是 用 于 实现 你 经 常 在 spout 和 bolt 中 用 到 的 输出 收集 器 ， 负 责 
发 出 元 组 或 者 让 元 组 失效 。 


现在 我 们 已 经 清楚 了 spout 是 如 何 从 数据 源 获 取 提交 数据 ， 并 且 为 每 个 提交 数据 上 友 射 一 个 新 的 元 组 ， 那 接 下 来 我 们 残 看 看 实 
现 从 提交 消息 中 提取 email， 并 更 新 内 存 映射 表 中 统计 计数 的 代码 部 分 。 


2.3.3 ”实现 bolt 


我 们 已 经 实现 了 spout 作 为 数据 流 的 源头 ， 那 么 接 下 来 就 该 实现 bolt 部 分 了 ， 图 2.18 展 示 了 Storm 中 bolt 相 关 的 通用 接口 和 


类 结构 。 
<<ijnterface>> <<interface>> 本 
7 EBOLt lIComponent -拓扑 的 通用 接口 《包括 
spout 和 bolt ) ， 这 个 接口 


定义 一 个 人 sd 
bolt 的 职责 定义 了 组 件 的 配置 与 输出 


<<interface>> <<interface>>| 个 
完 救 利 产 二 -个 完整 能 交口 继 
-个 完整 的 bolt 接口 包 / IRichBolt TRasicBolt cs 站 完整 的 bolt 接口 继 
, . 到了 IComponent 但 是 仅仅 


含 了 了 IBolt 和 IComponent 
文 持 IRichBolt 部 分 功能 


部 分 实现 IRichBolt， 这 个 ~ Ra 1 Va 部 分 实现 IBasicBolt， 这 个 
a ee BaseR1icnNnBolt BaseBasicBolt Wo i 
是 我 们 继承 实现 bolt 的 基 类 ~ 是 我 们 继承 bolt 的 基 类 


图 2.18 ”Storm 中 有 关 bolt 的 类 层级 


你 会 注意 到 图 2.18 中 所 展示 的 bolt 相 关 类 层级 要 比 spout 复 杂 得 多 ， 原 因 是 相 比 spout，Storm 为 bolt 提 供 了 一 些 额外 的 功能 
实现 (包括 lBasicBolt/BaseBasicBolt) ， 其 包含 了 开发 者 使 用 IRichBolt 时 会 经 常用 到 的 功能 ， 这 种 方式 会 使 得 我 们 对 bolt 的 实 
现 更 简化 。 但 IlBasicBolt 的 简化 设计 也 带 来 了 闲 端 ， 那 就 是 不 能 直接 通过 IRichBolt 调 用 其 中 提供 的 各 项 丰富 功能 。 在 第 4 章 中 ， 
我 们 会 详细 讨论 BaseRichBolt 和 BaseBasicBolt 的 区 别 ， 以 及 该 选择 使 用 哪 种 方式 。 在 本 章 中 ， 我 们 只 是 使 用 了 BaseBasicBolt， 
因为 我 们 的 bolt 功 能 非常 简单 直接 。 


回顾 一 下 我 们 的 设计 ， 拓 扑 中 有 两 个 bolt， 如 图 2.19 所 示 。 一 个 bolt 从 元 组 中 接收 完整 的 提交 消息 ， 从 中 提取 出 email 地 
址 ， 然 后 友 射 包 合 email 地 址 的 元 组 ; 另 一 个 bolt 维 护 一 个 内 存 映射 表 ， 并 在 映射 表 中 更 新 提交 的 计数 器 。 


natnandexample.com" 


从 数据 源 中 
读 取 提 交 事件 


[commit="V648/4b nathandexampjle.com"| 


从 提交 事件 中 
提取 email 


[email="nathan@example.com"] 


1 


更 新 email 


的 计数 器 


图 2.19 ”在 我 们 拓扑 中 的 两 个 bolt: 第 一 个 从 提交 的 消息 中 提取 email， 第 二 个 在 内 存 中 维护 email 的 计数 器 
我 们 来 看 看 这 两 个 bolt 的 代码 实现 ， 代 码 清 单 2.5 展 示 了 EmailExtractor.java 的 部 分 。 


程序 清单 2-5 EmailExtractor.java 


继承 BaseBasicBolt 


public class EmailExtractor extends BaseBaslicBolt { < 一 
类 的 一 个 简单 实现 


QOverride 
一 性 Publlic vold declareOutputFields (OutputFieldsDeclarer declarer) { 


我 们 为 declarer.declare(new Fields ("emal1") ) ; < 声明 bolt 发 射 的 
所 有 bolt , 元 组 中 字段 的 命名 为 
发 射出 的 oe email 
元 组 定义 public void execute (Tuple tuple， + 
字段 名 称 BasicOutputCollector outputCollector) { 当 一 个 元 组 被 

String commit = tuple.getSstringByField("commit").; < 二 一 发 射 至 这 个 bolt 
Strinall] parte = Commit ,aplitt™ ™ Ys 上 时 调用 


outputCollector.emit (new Values (Parts[1]) ) ，; 


发 射 一 个 包 4 获取 字段 命名 
email 的 新 元 组 为 commit 的 值 


EmailExtractorjava 的 实现 非 党 精简， 这 也 是 为 什么 我 们 会 选择 继承 BaseBasicBolt。 如 果 你 仔细 看 代码 ， 会 上 现 其 中 有 很 
多 跟 spout 代 码 相似 的 地 方 ， 那 就 是 声明 友 射 元 组 中 值 命 名 的 方法 是 类 似 的 。 这 里 我 们 定义 了 一 个 简单 的 字段 名 叫做 email。 


束 bolt 中 的 execute 万 法 而 言 ， 我 们 所 要 做 的 丈 是 分 割 字符 串 以 及 提取 email 地 址 ， 然 后 友 射 包含 email 地 址 的 新 元 组 。 还 记 
得 在 讨论 spout 代 码 时 提 到 的 输出 收集 器 吗 ? 这 里 的 BasicOutputCollector 就 与 之 类 似 ， 它 会 发 射 元 组 到 拓扑 中 的 下 一 个 bolt, 


也 瓯 是 实现 emaili 计 数 器 的 bolt。 


完成 email 计 数 器 的 bolt 代 码 结构 和 EmailExtractor.java 类 似 ， 但 多 了 一 些 额外 的 设置 和 实现 ， 如 代码 清单 2.6 所 示 。 


程序 清单 2-6 EmailCounter.java 


public class EmailCounter extends BaseBasicBolt f{ 


—> private Map<String, Integer> counts; 继承 BaseBasicBolt 
内 存 中 对 的 简单 实现 
人 i QOverride 
应 email | 
和 统计 计数 public void declareOutputFields (OutputFieldsDeclarer declarer) { 
个 区 女人 ， : 
ee // This bolt does not emit anything and therefore does 
器 的 映射 表 


// not declare any output fields. 
} 


QOverride 
bl1] Ta are (Me fig, i 
Publlc vold prepare (Map contfig Storm 在 这 个 
TopologyContext context) { 
counts = new HashMap<String, Integer>(),， 


} 调用 


QOverride 
public void execute (Tuple tuple, 
BasicOutputCollector outputCollector) { 
String email = tuple.getStringByField("email").; < 获取 字段 


counts.put (email, countFor(email) + 1); Po | 
, 命名 为 emai1l 
DrinbteCountel()s 


} 


private Integer countFor(String email) { 
Integer count = counts.get (email); 
return count == nuUuJ1] ? 0 : count; 


} 


private void printCounts() { 
for (String email : counts.keySet()) { 
Sveatem out Drintlin' 
String.format ("%s has count of %s", email, counts.get (email))).; 


这 里 我 们 同样 继承 了 BaseBasicBolt 类 ， 尽 管 EmailCounter.javattEmailExtractor.java 要 复杂 一 些 ， 但 还 是 可 以 直接 使 用 
BaseBasicBolt 的 现 有 方法 。 你 唯一 可 能 会 注意 到 的 区 别 就 是 我 们 重 写 了 prepare 方 法 。 这 个 方法 会 在 Storm 准 备 运 行 bolt 之 前 调 
用 ， 包 括 要 完成 bolt 所 有 的 配置 工作 。 在 我 们 的 例子 中 ， 这 个 准备 工作 融 是 初始 化 内 存 的 映射 表 。 


谈 到 内 存 的 映射 表 ， 你 会 注意 到 这 是 一 个 私有 的 成 员 变 量 ， 并 且 属 于 某 个 特定 的 bolt 实 例 。 这 听 起 来 有 些 熟悉 ， 因 为 我 们 在 
2.2.6 世 中 提 到 过 ， 这 也 是 我 们 为 什么 一 定 要 在 两 个 bolt 之 间 对 流 使 用 字段 分 组 策略 的 原因 。 


所 以 至 此 ， 我们 已 经 完成 了 spout 和 两 个 bolt 的 编码 ， 那 接 下 来 蝶 么 做 呢 ? 我 们 需要 设法 告诉 Storm 数 据 流 的 位 置 以 及 每 个 
流 的 分 组 策略 。 我 想 你 肯定 希望 尽快 让 这 个 拓扑 运行 起 来 ， 那 么 现在 束 先 将 所 有 的 代码 都 汇 忆 起 来 吧 。 


2.3.4 ”集成 各 个 部 分 组 成 拓扑 
我 们 的 spout 和 bolt 代 码 单独 来 看 是 无 法 运行 的 ， 需 要 先 构 建 拓扑 ， 并 定义 流 和 spout 以 及 bolt 之 间 的 流 分 组 策略 。 在 此 之 
后 ， 我 们 就 可 以 运行 一 个 测试 来 判断 拓扑 是 否 能 正常 工作 。Storm 提 供 了 你 所 需要 的 所 有 类 ， 如 下 所 示 : 
TopologyBuilder， 这 个 类 用 来 将 spout 和 bolt 代 码 片 段 合 并 在 一 起 ， 并 定义 流 和 流 分 组 策略 。 


-Config， 这 个 类 用 来 定义 拓扑 层 的 配置 。 


StormTopology， 这 个 类 是 由 TopologyBuilder 构 建 出 来 的 ， 并 且 会 被 提交 到 集群 上 运行 。 


.LocalClustet ， 


这 个 类 将 在 本 地 模拟 一 个 Stotm 人 集群， 使 得 我 们 可 以 轻松 实现 拓扑 的 运行 测试 。 


理解 了 这 些 类 ， 我 们 接 下 来 残 要 构建 拓扑 ， 并 提交 到 本 地 集群 进行 测试 ， 如 代码 清单 2.7 所 示 。 


程序 清单 2-7 LocalTopologyRunner.java 


用 于 
Spout 
bolts 


到 一 起 


et 


uy 
人 tT 


在 拓扑 上 增加 | 
ID 是 “commit- 
feed-listener”™ 
的 提交 消息 监听 器 


在 拓 才 | 上 [一 人 


增加 ID 是 
~ email- 
counter” 
的 email 


十 溃 卫 
计 2X 六 


public class LocalTopologyRunner { 


> 


拓扑 层 的 
配置 类 ， 为 
了 保持 可 调 
试 ， 开 尼 了 


debug 选项 


private static final int TEN_ MINUTES = 600000; 


拓扑 的 main 
public static void main(String[] args) { < 方法 

TopologyBuilder builder = new TopologyBuilder(); 在 拓扑 
上 增加 ID 
> builder.setSpout ("commit-feed-listener", new CommitFeedListener()).， 是 mal= 
extractor” 
builder 的 email 

.SetBolt ("email-extractor", new EmailExtractor!()) 了 一 提取 器 

J y 1 


.ShuffleGrouping ("commit-feed-listener"); ee eh 
定义 在 提交 消息 监听 


器 与 email 提取 器 之 


Bidilder 间 的 数据 流 
.SetBolt ("email-counter", new EmailCounter!()) 
.fieldsGrouping ("email-extractor", new Fields("'email")); Oo 定义 在 -email 
提取 器 与 email 
—t> Config config = new Conf1lg() ; 计数 器 之 间 的 数 
config.setDebug (true).; ， ee - 
- - 创建 拓扑 据 流 


StormTopology topology = builder.createTopology ( ) ; 


定义 可 在 内 存 中 


LocalCluster cluster = new DocalCluster () ; et td ds ill 
运行 的 本 地 集群 


cluster.submitTopology ("github-commit-count-topology", 
GONntEndg. 
topology); 


UE (TEN _ MINUTES) 谍 交 拒 中 

ils.sleep _MII 二 和 其 配置 到 
cluster.killTopology (“github-commit-count-topology”); < 一 林地 集群 
/ 地 集 市 


cluster.shutdown(). | ee 
关闭 本 地 集群 


你 可 以 认为 main 万 法 中 的 代码 分 为 三 部 分 。 第 一 部 分 ,我们 将 构建 拓扑 ， 并 告诉 Storm 数 据 流 的 位 置 ， 以 及 定义 每 个 数据 
流 的 流 分 组 策略 。 第 二 部 分 ， 我 们 创建 配置 ， 在 示例 中 ， 我 们 打开 了 debug 的 日 志 选 项 ， 其 实 还 有 很 多 其 他 的 选项 可 以 在 这 里 
配置 ， 人 在 本 书后 面 章节 中 会 做 进一步 讨论 。 第 三 部 分 ， 我 们 将 生成 拓扑 ， 并 连同 配置 一 起 提交 到 本 地 集群 中 执行 运行 。 这 里 我 们 


只 在 本 地 集群 里 运行 
据 计 算 和 处 理 。 


大 约 十 分 钟 ， 并 持续 地 将 changelog.txt 中 的 每 个 提交 消息 友 射 为 元 组 ， 这 样 的 话 足 够 为 拓扑 市 来 大 量 的 数 


如 果 我 们 用 java-jar 命 令 来 运行 LocalTopologyRunner.java 中 的 main 方 法 ， 那 么 融会 从 控制 全 上 看 到 大 量 debug 日 志 ， 日 
志 将 显示 spout 创 建 元 组 以 及 这 些 元 组 被 bolt 处 理 的 过 程 。 到 此 为 止 ， 你 已 经 成 功 构 建 你 的 第 一 个 拓扑 啦 ! 在 本 章 中 ， 我 们 学 习 
了 大 量 基 础 知识 ， 但 其 中 还 有 很 多 知识 点 还 需要 做 更 深入 的 讨论 。 第 3 章 将 曾 述 怎么 去 设计 一 个 优秀 的 拓扑 ， 以 及 一 些 设计 中 可 


以 借 窒 的 最 佳 实践 。 


2.4 ”小结 


在 本 章 中 ， 你 学 到 了 

: 一 个 拓扑 是 一 个 结 点 图 集 ， 图 中 的 每 个 结 点 都 代表 一 个 独立 进程 或 计算 处 理 ， 每 条 边 代 表 一 个 计算 的 输出 ， 亦 或 者 是 作为 

另 一 个 计算 的 输入 。 

“ 元 组 是 一 个 有 序 的 数值 序列 ， 其 中 每 个 数值 都 被 赋予 一 个 命名 ， 同 时 元 组 也 代表 在 两 个 组 件 之 间 传 递 的 数据 。 

- 在 两 个 组 件 之 间 传 递 的 元 组 流 称 为 数据 流 。 

spout 是 数据 流 的 源头 ， 它 们 唯一 的 目的 就 是 从 一 个 数据 源 读 取 数据 ， 并 且 发 射 元 组 作为 输出 流 到 数据 流 中 。 

` bolt 是 拓扑 中 实现 核心 业务 逻辑 的 地 方 ， 执 行 过 滤 、 聚 合 、 连 接 或 与 数据 库 交互 等 操作 。 

spout 和 bolt (统称 组 件 ) 都 可 以 执行 一 个 或 多 个 实例 ， 并 向 其 他 bolt 实 例 发 射 元 组 。 

“ 数据 流 的 流 分 组 策略 决定 了 组 件 中 实例 间 的 数据 流传 输 行 为 。 


“ 实现 spout 和 bolt 的 代码 只 是 完成 拓扑 的 一 小 部 分 ， 还 需要 将 各 部 分 组 件 的 配置 和 实现 合 在 一 起 ， 并 且 完 整定 义 数 据 流 和 流 


` 在 本 地 模式 运行 拓扑 是 测试 它 是 否 能 正常 运行 的 最 快捷 方式 。 


第 3 章 ”拓扑 设计 


本 章 要 点 : 


> 


解 问题 以 适应 Storm 架 构 

: 处 理 不 可 靠 的 数据 源 

" 集成 外 部 服务 和 数据 存储 
-了解 Stortm 拓 扑 内 部 的 并 行 机 制 
关于 拓扑 设计 的 最 佳 实践 


在 前 面 的 章节 中 ， 我 们 通过 构建 一 个 简单 的 拓扑 结构 ， 实 现 了 统计 GitHub 项 目 提 人 交 数 的 功能 。 把 它 分 解 成 Storm 的 两 个 主 
要 组 件 ， 即 spout 和 0bolt， 但 这 里 我 们 并 不 需要 关心 其 细节 以 及 原理 。 在 本 章 中 ， 我 们 将 扩展 这 些 Storm 的 基本 概念 ， 展 示 如 何 
基于 Storm 进 行 解决 方案 的 建 模 和 设计 。 你 将 学 习 有 关 分 析 问 题 的 策略 ， 这 些 都 可 以 帮助 你 最 终 实 现 一 个 完整 设计 : 如 何 基 于 问 
题 构建 可 以 解决 问题 的 工作 流 模 型 。 


此 外 更 重要 的 是 ， 你 将 学 习 Storm 如 何 实现 扩展 性 (或 工作 单元 的 并 行 性 处 理 ) ， 因 为 这 会 影响 你 将 要 采取 何 种 解决 万 案 ， 
同时 我 们 还 将 探讨 如 何在 拓扑 上 获取 更 快 处 理 速 度 的 设计 策略 。 


在 阅读 完 本 章 后 ， 你 不 仅 能 学 会 如 何 尽快 分 解 问 题 并 考虑 将 方案 应 用 于 Storm 上 ， 学 到 如 何 判断 Storm 是 否 是 合适 的 解 
决 方案 ， 还 是 反而 将 问题 复杂 化 了 。 本 章 还 将 帮 你 更 深入 地 理解 拓扑 设计 ， 从 而 有 能 力 预 判 一 些 大 数据 问题 的 解决 方案 。 


让 我 们 从 探索 如 何 设计 拓扑 开始 ， 然 后 学 习 使 用 列 出 的 步骤 ， 来 分 解 现实 世界 中 的 问题 场景 。 


3.1 拓扑 设计 方法 


设计 拓扑 一 般 可 以 分 解 为 以 下 五 个 步骤 : 


1. 定 义 问 题 /构造 一 个 概念 上 的 解决 方案 。 这 一 步 是 对 要 处 理 的 问题 先 有 一 个 清晰 的 理解 ， 同 时 这 里 还 要 记录 任何 可 能 的 洪 
在 需求 (包括 处 理 速 度 的 需求 ， 这 在 大 数据 问题 中 是 常见 的 衡量 标准 ) 。 另 外 ， 这 一 步 还 包 合 要 对 解决 方案 进行 初步 建 模 (不 是 
用 于 实现 的 ) ， 来 阐述 问题 的 核心 诉求 。 


2. 将 解决 万 案 映射 到 Storm 中 。 在 这 一 步 中 ， 可 以 遵循 一 套 规 则 或 方法 论 ， 来 分 解 提出 的 问题 并 形成 解决 方案 ， 评 估 如 何 将 
其 映射 到 Storm 近 术 相关 原 语 〈( 即 storm 概念 ) 上 。 在 这 个 阶段 ， 你 会 实现 第 一 个 拓扑 设计 ， 这 个 设计 将 按照 后 面 的 步骤 进行 优 
化 和 修正 。 


3. 实 现 初 始 万 案 。 在 这 一 步 中 ， 每 个 相关 组 件 都 将 被 实现 并 完成 部 署 。 
4. 扩 展 拓扑 。 在 这 一 步 中 ， 你 将 利用 Storm 提 供 的 相关 工具 ， 对 拓扑 能 力 实施 扩容 。 


5 一 边 观 察 一 边 估 化。 最 后 ， 一 旦 拓扑 运行 起 来 ， 你 需要 一 边 观 察 其 工作 情况 一 边 来 做 相应 调整 。 在 这 一 步 中 ， 你 可 能 会 
临 需求 的 变动 ， 所 以 在 完成 新 增 需 求 的 同时 ， 可 能 涉及 一 些 额外 的 调试 来 保证 运行 效率 不 受 影 响 


接 下 来 ， 我 们 将 通过 对 一 个 现实 中 的 问题 ， 运 用 以 上 这 些 步 又 来 演示 如 何 分 解 问题 。 这 里 将 实现 一 个 基于 社交 活跃 度 的 热力 
图 ， 其 中 会 包含 大 量 涉及 拓扑 设计 的 常见 问题 。 


3.2 ”问题 定义 : 一 个 社交 热力 图 


试想 这 样 一 个 场景 ， 某 个 周 六 的 夜晚 ， 你 在 一 个 酒吧 喝酒 ， 跟 你 朋友 一 起 享受 美好 的 夜生活 。 当 喝 完了 第 三 本 后 ， 你 开始 完 
得 是 不 是 应 该 换 一 个 地 方 了 。 要 不 换个 酒吧 ? 但 外 面 这 么 多 酒吧 ， 你 该 怎么 选 呢 ? 作为 一 个 社交 活路 分子， 当然 是 要 选择 一 
热门 的 场所 来 结束 今 晚 的 派对 。 此 时 的 你 肯定 不 想 去 寻找 身边 由 时 尚 杂 志 评 选 出 最 棒 的 那 家 ， 因 为 这 都 是 上 周 的 评选 结果 了 ， 你 
想 要 的 是 此 时 此 刻 (而 不 是 前 一 个 小 时 ， 也 不 是 上 一 周 ) 最 热闹 的 。 你 是 朋友 圈 中 最 潮 的 时 尚 分 子 ， 所 以 有 责任 让 大 家 欢度 一 个 
令 人 难忘 的 夜晚 。 


也 许 这 个 人 不 是 你 ,但 至 少 能 代表 一 类 社交 用 尸 吧 ? 那么 我 们 怎么 能 帮 到 这 类 人 呢 ? 如 果 我 们 可 以 用 图 形 化 的 方式 来 标识 出 
他 要 寻找 的 答案 ， 那 束 非 常理 想 了 : 也 丈 是 说 用 一 个 地 图 将 周围 实时 活动 密度 最 锅 的 酒吧 标记 为 最 佳 选择 。 我 们 可 以 使 用 一 个 执 
力图 去 覆 蘑 像 纽 约 或 旧金山 这 样 的 大 规模 城市 ， 一 般 来 说 ， 在 选择 一 个 热 闸 酒 吧 时 ， 最 好 在 相近 的 地 方 有 几 个 选择 ， 以 防 万 一 。 


热力 图 的 其 他 案例 研究 


哪 种 问题 最 适合 使 用 热力 图 来 实现 可 视 化 呢 ? 例如 ， 需 要 对 一 个 基于 区 域 位 置 〈 或 类 似 地 理 ) 相关 的 数据 集 比 对 数据 之 间 关 
系 的 时 候 ， 热 力图 此 时 可 作为 一 个 非常 合适 的 方案 。 


“ 加 州 葛 延 的 山 火 、 即 将 席卷 东海 岸 的 飓风 或 者 爆发 的 某 种 疾病 ， 都 可 以 借助 建 模 生 成 的 热力 图 来 为 拓 民 提供 预警。 


SN、 


能 想 知 道 


` 在 选举 日 ， 你 


| 


` 哪个 选区 参与 投票 的 人 数 最 多 ? 你 可 以 对 投票 人 数 建 模 ， 并 在 热力 图 上 描绘 显示 民众 参与 投票 的 积极 性 。 


我 们 已 经 对 间 题 做 了 一 个 大 致 定 义 ， 接 下 来 ,我 们 需要 先 在 概念 上 构建 一 个 解决 万 案 。 
构建 概念 性 解决 方案 


我 们 应 该 从 哪里 下 手 呢 ? 很 多 社交 网 络 都 提供 了 一 个 签到 功能 ， 假 定 我 们 可 以 连接 到 一 个 专门 收集 各 个 酒吧 签 人 数据 的 数据 
中 心 ， 这 些 数 据 会 记录 签到 所 在 酒吧 的 地 址 ， 这 也 瓯 给 了 我 们 一 个 数据 的 起 点 ， 但 一 定 还 需要 为 数据 设 定 一 个 终点 。 假 定 我 们 的 


目标 是 实现 一 个 苹 加 热力 图 的 地 图 ， 上 面 标 识 了 附近 最 热门 的 酒吧 。 图 3.1 束 展示 了 将 不 同 地 后 的 签到 数据 汇聚 起 来 形成 热力 图 
的 效果 。 
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图 3.1 借助 签到 数据 来 构建 热力 图 


所 以 我 们 需要 借助 Storm 来 解决 的 问题 ， 丈 演变 成 如 何 将 签到 数据 转换 (或 聚合 ) 成 数据 集 ， 并 借助 热力 图 的 方式 展示 出 来 


的 问题 。 


3.3 ”将 解决 方案 映射 全 Storm 的 逻 和 辑 


最 好 的 方法 是 先 考 虑 流 经 系统 的 数据 的 特性 ， 当 我 们 对 数据 流 所 包含 的 特性 有 足够 理解 后 ， 对 需求 的 理解 也 会 更 清晰 ， 明 日 
接 下 来 应 该 如 何在 系统 上 建立 实施 。 


3.3.1 ”考虑 数据 沉 本 身 施 加 的 要 求 


我 们 已 经 找到 一 个 能 提供 酒吧 签到 地 址 的 数据 中 心 ， 但 是 这 个 签到 数据 流 并 不 能 代表 进入 酒吧 的 每 个 人 ， 而 且 签 到 数据 也 并 
不 能 代表 一 个 地 方 的 真实 人 数 ， 所 以 我 们 最 好 把 它 当 做 基于 现实 的 采样 值 ， 因 为 并 不 一 定 每 个 消费 者 到 酒吧 后 都 会 签到 。 所 以 此 
时 我 们 不 得 不 提出 这 样 一 个 问题 ， 签 到 数据 是 否 真 能 支撑 解决 问题 ?对 这 个 例子 而 言 ， 我 们 人 至少 可 以 假定 签到 数据 跟 这 些 地 方 的 
实际 人 数 成 正比 。 


所 以 我 们 知道 如 下 前 提 : 
` 签到 数据 仅仅 是 真实 场景 中 的 数据 采样 ， 而 且 数 据 不 完整 。 


. 二 者 一 定 程度 上 成 正比 关系 。 


yy 注意 
/ 局 


这 里 假设 数据 量 足 够 大 ， 大 到 足以 忽略 小 部 分 数据 的 缺失 ， 而 且 数 据 丢 失 是 不 定期 的 ， 不 会 持续 丢失 导致 服务 不 可 用 ， 所 以 
这 些 假设 可 以 一 定 程度 上 支撑 我 们 处 理 不 可 靠 的 数据 源 。 


我 们 对 数据 流 有 了 初步 的 认识 : 一 个 基于 签到 信息 的 数据 流 与 真实 数据 存在 一 定 正比 天 系 ， 但 不 是 完整 的 签到 数据 流 。 然 后 
呢 ? 我 们 知道 用 己 希 望 在 第 一 时 间 内 获取 最 新 的 热门 活动 信息 推送 。 换 句 话 说 ,我 们 对 处 理 速度 有 极 高 的 要 求 ， 需 要 将 结果 尽快 
告诉 用 户 ， 因 为 时 效 性 决定 了 此 刻 数据 的 价值 。 


经 过 人 在 对 数据 流 的 分 析 和 思考 之 后 ， 我 们 上 友 现 其 实 并 不 需要 担心 数据 的 丢失 问题 ， 因 此 可 以 得 出 这 样 的 结论 : 我 们 的 数据 源 
并 不 完整 ， 所 以 需要 对 结果 的 精度 做 一 些 取 均 值 处 理 ， 因 为 这 里 并 不 要 求 太 高 的 精确 度 。 但 是 它 能 在 一 定 比例 上 具备 代表 性 这 对 
于 确定 热门 性 残 足 够 了 。 结 合 对 速度 的 需求 ， 可 以 实现 尽快 将 结果 推送 给 用 户 ， 那 我 们 束 成 功 了 ! 即使 数据 存在 丢失 率 ， 但 结 
很 快 焉 被 下 一 刻 的 运算 结果 给 履 关 了 。 


这 瓯 是 在 Storm 中 使 用 不 可 靠 数 据 源 的 场景 ， 由 于 数据 源 的 不 可 靠 性 ， 你 也 融 没 有 在 处 理 上 有 重 试 的 能 力 ， 而 数据 源 也 没有 
能 力 去 回放 每 个 数据 点 。 在 本 案例 中 ， 使 用 签 人 数据 来 实现 对 真实 情况 的 采样 ， 可 以 模拟 一 个 不 完整 数据 集 的 可 用 性 。 


相 比 之 下 ， 如 果 你 使 用 的 是 一 个 可 靠 的 数据 源 ， 它 将 具备 回放 失效 数据 点 的 能 力 。 但 如 果 速 度 比 精度 更 重要 ， 你 也 就 不 会 考 
谍 使 用 可 靠 数 据 源 的 这 种 回放 能 力 了 。 而 如 果 能 接受 近似 结果 ， 那 你 也 可 以 把 一 个 可 靠 的 数据 源 当做 不 可 靠 的 数据 源 看 待 ， 选 择 
性 地 忽视 它 提供 的 任何 可 靠 性 指标 。 


yy 注意 
我 们 将 在 第 4 章 讲 到 可 靠 数 据 源 及 其 容错 性 。 


定义 完 数据 源 ， 下 一 步 束 是 定义 每 个 独立 的 数据 点 ， 并 如 何在 我 们 的 方案 中 完成 传输 ， 这 些 都 将 在 下 一 小 节 中 进行 讨论 。 


3.3.2 ”将 数据 点 表示 为 元 组 


接 下 来 就 要 定义 数据 流 中 的 独立 数据 点 ， 如 果 将 数据 从 起 点 和 终点 结合 起 来 看 ， 这 其 实 非 常 简 单 。 首 先 从 数据 源 开始 ， 这 些 
数据 包含 了 活动 的 酒吧 地 址 信息 ， 接 看 还 需要 知道 签到 的 时 | 间 。 因 此 输入 数据 点 内 容 如 下 : 


[time="9:00:07 PM", address="287 Hudson St New York NY 10013"| 
这 就 是 签到 友 生 的 时 | 间 和 地 点 ， 这 个 数据 会 成 为 输入 元 组 ， 也 会 是 spout 的 发 射 值 。 回 已 一 下 第 2 章 中 讲 到 的 ， 元 组 其 实 是 
一 个 Storm 数 据点 的 原 语 ， 而 spout 则 是 一 个 元 组 流 的 数据 源 。 


我 们 的 最 终 目标 是 建立 基于 酒吧 活跃 度 的 热力 图 ， 所 以 最 终 需 要 的 是 可 以 在 地 图 上 表示 时 间 和 坐标 的 数据 点 。 可 以 设置 一 个 
时 间 间 隔 (例如 9: 00: 00PM 到 9: 00: 15PM 之 间 ， 以 15s 递 增 ) ， 获 取 在 此 间隔 期 间 的 坐标 数值 。 然 后 在 热力 图 上 显示 的 时 
候 ， 可 以 先 获取 最 新 的 可 用 时 间 间 隅 值 ， 而 地 图 上 的 坐标 可 以 按照 经 纬度 来 表示 (例如 (40.7142"N，74.0064"W) 表示 了 纽约 
的 位 置 ) ， 其 中 (40.7142*N，74.0064"W) 的 标准 格式 是 (40.7142，-74.0064) 。 


但 在 同一 个 时 间 窗 口内 ， 可 能 存在 多 个 坐标 分 别 表示 不 同 的 签到 坐标 ， 所 以 需要 将 时 间 间 隔 和 窗口 期 间 的 坐标 值 建 立 为 列表 
形式 ， 最 终 输 出 的 数据 点 格式 应 该 是 这 样 的 : 


[time-interval="9:00:00 PM to 9:00:15 PM". 
hotzones=List((40.719908,-73.987277),(40.72612,-74.001396))|] 


这 个 数据 点 束 包 含 了 在 一 个 时 间 间 隔 之 内 ， 两 个 不 同 签到 酒吧 的 地 址 信息 。 


如 果 在 同一 时 间 点 在 同一 个 酒吧 有 两 个 或 多 个 签到 记录 呢 ? 那么 坐标 值 束 重 苹 了 ， 该 怎么 办 ? 一 种 方式 是 对 同一 时 间 间 隔 内 
同一 个 人 举 标 的 签到 进行 计数 ， 这 包含 了 如 何 基 于 一 定 角 度 和 精度 定义 坐标 的 相似 度 。 如 果 不 这 么 做 ， 可 以 保留 时 间 间 隔 内 的 所 有 


坐标 点 ， 哪 怕 是 重复 的 。 通 过 将 这 些 坐 标 钙 加 到 热力 图 上 ， 可 以 让 地 图 在 生成 热力 图 时 执行 逐 层 苹 加 (而 不 是 对 事件 计数 ) 。 
最 终 的 数据 流 终 点 数据 应 该 是 这 样 的 格式 : 


[time-interval="9:00:00 PM to 9:00:15 PM", 
hotzones=List((40.719908,-73.987277), 
(40.72612,-74.001396)， 
(40.719908,-73.987277))| 
请 注意 ， 第 一 组 坐标 是 重复 的 ， 这 也 是 最 后 可 以 用 于 创建 热力 图 的 元 组 数据 。 以 时 间 间隔 来 分 组 ， 将 该 时 间 间隔 内 的 全 部 从 
标 都 存在 元 组 内 ， 这 样 做 的 好 处 是 : 


` 允许 我 们 利用 Google Maps API (由 谷歌 地 图 提供 的 服务 接口 ) 快速 构建 一 个 热力 图 ， 热 力图 可 以 直接 登 加 在 现 有 的 Google 
Map (谷歌 地 图 ) 上 。 


` 我 们 可 以 回 到 任意 时 间 段 ， 来 观测 那个 时 间 段 内 的 热力 图 。 


确定 数据 起 始 格 式 和 最 终 格式 只 是 整个 方案 中 的 一 部 分 ， 我 们 还 需要 确定 数据 是 怎么 从 A 点 传输 至 B 点 的 。 


3.3.3 ”确定 拓扑 组 成 的 步骤 


设计 Storm 拓扑 时 可 以 分 为 以 下 三 

1. 确 认输 入 数据 点 ， 以 及 怎么 将 它们 表示 为 元 组 。 

2. 确 定 解决 问题 需要 的 最 终 数据 点 ， 以 及 怎么 把 它们 表示 成 元 组 。 

3. 在 输入 元 组 和 最 终 元 组 之 间 ， 补 充 完整 的 数据 处 理 方法 。 

我 们 已 经 知道 了 输入 并 和 输出 端的 数据 格式 ， 如 下 所 示 。 

输入 元 组 : 

[time="9:00:07 PM", address="287 Hudson St New York NY 10013"| 

最 终 元 组 : 

[time-interval="9:00:00 PM to 9:00:15 PM", 

hotzones=List((40.719908,-73.987277),， 
(40.72612 -74.001396) ， 
(40.719908 -73 .9872771) 1) 


按照 这 个 路 径 ， 我 们 需要 将 酒吧 的 地 址 转换 成 最 终 的 元 组 ， 图 3.2 演 示 了 如 何 将 问题 分 解 为 一 系列 的 操作 。 
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图 3.2 ”通过 一 系列 操作 将 数据 从 输入 元 组 转换 为 最 终 元 组 


让 我 们 来 一 步 一 步 地 理解 如 何 将 这 些 过 程 参 数 化 到 Storm 原 语 中 进行 实现 的 (这 里 可 以 认为 Storm 原 语 等 价 于 Storm 的 技术 
概念 ) 。 


使 用 spout 和 bolt 的 操作 


我 们 已 经 设计 了 一 系列 的 操作 ， 将 输入 元 组 转换 为 输出 元 组 。 那 么 接 下 来 我 们 就 看 看 如 何 通过 这 四 个 步骤 ， 将 这 些 处 理 动 作 
映射 到 Storm 原 语 中 。 


| 过 


. Checkins (签到 ) : 这 是 输入 到 拓扑 的 数据 源 元 组 ， 所 以 从 Stotm 的 概念 上 讲 ， 这 就 是 spout。 在 这 个 示例 中 ， 因 为 我 们 使 
用 不 可 靠 的 数据 源 ， 所 以 构建 的 是 一 个 没有 失败 重 试 功能 的 spout。 第 4 章 将 深入 讨论 失败 处 理 的 方案 。 


* GeocodeLookup (地理 查询 ) : 这 里 将 基于 输入 元 组 ， 人 和 借助 Google Maps 的 Geocoding API (地 图 服务 接口 ) ， 将 街道 地 址 转 
换 为 经 纬度 坐标 数据 ， 形 成 拓扑 中 的 第 一 个 bolt。 


- HeatMapBuilder (热力 图 生成 器 ) : 这 是 拓扑 中 第 二 个 bolt， 它 会 在 内 存 中 保存 一 个 数据 结构 ， 按 照 时 间 段 来 分 组 存放 输入 
的 元 组 数据 。 在 当前 时 间 段 结束 进入 下 个 时 间 窗 口 时 ， 它 将 把 存储 的 坐标 列表 发 射出 来 。 


Persistor (持久 化 处 理 器 ) : 这 是 第 三 个 也 是 最 后 一 个 bolt， 它 将 对 最 终 的 元 组 数据 执行 持久 化 操作 ， 并 存储 到 数据 库 中 。 


图 3.3 提 供 了 一 个 将 设计 映射 到 Storm 概念 的 况 明 。 


ng"UUPM 287 Hudson St" 


DD 各 数据 spout 将 签到 关 人 
据 从 数据 源 推 出 


[time="9:00 PM" ,address="287 Hudson St'" | 


| 


Geocode 
LOOkup 


[time="9:00 Pr,geocode="40.72612，-74.001396"1 | 全局 分 组 


| 


bolt 扮 滨 了 对 时 Heat Map 
间 和 经 纬度 坐标 Builder 


数据 处 理 的 角色 


[time-interval="9:00:00 PM to 9:00:15 PM", 
hotzones=List((40.719908,-73.987277),， 随机 分 组 
(40.72612,-74.001396)， - 
(40 .719908 -73 .987277 ) ) ] 


图 3.3 ”根据 Stotm 概 念 设计 的 热力 图 


到 目前 为 止 ， 我 们 已 经 讨论 了 元 组 、spout 和 bolt， 如 图 3.3 所 示 ， 我 们 唯一 没有 讨论 的 就 是 对 每 个 数据 流 执行 的 分 组 操作 。 
接 下 来 残 针 对 每 个 分 组 数据 ， 讨 论 其 内 部 更 多 细节 ， 以 及 如 何在 Storm 拓扑 中 编写 代码 。 


3.4 设计 的 初步 实现 


既然 已 经 完成 了 设计 ， 那 么 接 下 来 束 要 着 手 实现 各 个 组 件 了 。 和 我 们 在 第 2 草 中 讨论 的 一 样 ， 首 先 从 spout 和 bolt 的 代码 开 
始 ， 然 后 再 将 其 他 配置 等 部 分 合并 起 来 ， 再 稍 后 对 每 个 组 件 做 调整 优化 ， 以 便 提 升 它 们 的 运行 效率 ， 同 时 找到 它们 的 缺陷 。 


3.4.1 spout: 从 数据 源 读 取 数据 


在 我 们 的 设计 中 ，spout 将 监听 基于 社交 签到 的 数据 源 ， 然 后 为 每 个 签到 数据 友 射 一 个 元 组 。 图 3.4 展 示 了 拓扑 设计 中 这 部 
分 的 结构 。 


"9:UD0PM 28/ Hudson St" 


Checkins 


[time="9:00 PM",address="287 Hudson St" 


图 3.4 spout 将 监听 基于 社交 签到 的 数据 源 ， 然 后 为 每 个 签到 数据 发 射 一 个 元 组 


为 了 实现 本 章 的 案例 效果 ， 使 用 一 个 文本 文件 作为 签到 数据 源 。 为 了 将 这 些 数据 灌 入 到 storm 拓扑 中 ， 需 要 写 一 个 spout 来 
读 取 这 些 文件 ， 然 后 按 行 来 发 射 元 组 。 这 个 文件 命名 为 checkins.txt， 保 存在 spout 的 class (类 ) 文件 目录 下 ， 它 将 以 特定 列表 
格式 来 仓储 签到 列表 ( 详 见 代码 清单 3.1) 。 


程序 清单 3-1 范例 数据 源 checkins.txt 的 部 分 数据 摘要 


1382904793783, 287 Hudson St New York NY 10013 
1382904793784, 155 Varick St New York NY 10013 
1382904793785, 222 W Houston St New York NY 10013 
1382904793786, 5 Spring St New York NY 10013 
1382904793787, 148 West 4th St New York NY 10013 


代码 清单 3.2 展 示 了 spout 所 需 的 签到 数据 信息 文件 checkins.txt。 因 为 输入 的 元 组 是 时 间 和 地 址 ， 所 以 需要 将 时 间 以 
Long (长 整 型 ) 存储 (使 其 具备 UNIX 的 时 间 截 可 以 记录 毫秒 级 数据 的 能 力 ) ， 将 地 址 以 String (字符 串 型 ) 存储 ,文本 文件 中 


这 两 个 数据 采用 逗号 来 隅 开 。 


程序 清单 3-2 Checkins.java 


Checkins spout 是 
继承 BaseRichSpout 


public class Checkins extends BaseRichSpout { 和 
的 子 类 


使 用 List private List<String> checkins; 


(列表 ) 来 存储 privake int nextEmitIndex,; < 二 一 nextEmitIndex 将 用 于 定位 
ee private SpoutOutputCollector outputCollector; 列表 中 的 当前 位 置 ， 因 为 我 们 稍 后 
txt 文 件 读 取 需要 回收 checkins 的 静态 列表 
的 静态 数据 QOverride 
public void declareOutputFields (OutputFieldsDeclarer declarer) { 
declarer.declare(new Fields("time", "address")); Oo 
} 向 Storm 声明 该 spout 
会 发 射 一 个 包含 时 间 和 地 
@Override 址 两 个 字段 的 元 组 


ee public void open (Map config, 


通用 IO API 从 


checkins.txt 


TopologyContext topologyContext, 

SpoutOutputCollector spoutOutputCollector) { 
有 

中 读 取 行 数据 ， this.nextEmitIndex = 0; 

然后 保存 至 内 

存 中 的 List 里 bw 


checkins = 


spoutOutputCollector.; 


IOUtils.readLines (ClassLoader.getSystemResourceAsStream("checkins.txt"), 


Charset.defaultCharset () .name()); 
} catch (IOException e) { 
throw new RuntimeExceptionl(e); 
} 当 Storm 向 spout 请 
} 求 下 一 个 元 组 时 ， 需 要 从 
内 存 List 中 查询 下 一 
POPE checkin 数据 ， 并 解析 
索引 指南 | public void nextTuple() { 为 时 间 和 和 地址 组 件 
下 一 条 需 String checkin = checkins.get (nextEmitIndex); . 
要 发 射 的 条 Stringl[l|] Parts = checkin,. splitt","):; 
目 数据 (如 四 time = Long.valueOf (Parts[0]) ; 利用 在 open 方法 时 
果 已 经 读 取 String address = parts[1]; Wi ee 
eg outputCollector.emit (new Values (time, address)); 二 | 提供 的 SpoutOutput- 
到 文件 最 末 Collector 来 发 射 字 上 
出 由 了 J Fn a 
3 则 执行 |、 nextEmitIndex = (nextEmitIndex + 1) % checkins.size();| 至 指定 目标 
回收 ) ) 
} 


因为 我 们 使 用 的 是 不 可 靠 数据 源 ， 所 以 spout 的 实现 比较 简单 ， 没 有 必要 标识 哪个 元 组 友 射 成 功 或 失败 ， 更 不 需要 为 失败 的 
元 组 提供 容错 支持 。 这 不 仅 简 化 了 spout 的 部 署 ， 还 移 除了 一 些 Storm 内 部 需要 的 记录 机 制 ， 提 升 了 整体 的 运行 速度 。 在 容错 是 
非 必要 的 情况 下 ， 可 以 定义 一 个 服务 等 级 协议 (Service-Level Agreement，SLA) ， 它 允许 我 们 根据 意愿 抛弃 数据 ， 接 受 一 个 
即使 已 知 不 可 靠 的 数据 源 。 这 样 维护 起 来 更 轻松 ， 不 用 担心 数据 点 的 缺失 。 


3.4.2 bolt: 连接 全 4 部 服务 


拓扑 中 的 第 一 个 bolt 将 用 于 接收 友 射 过 来 的 Checkins 元 组 数据 ， 并 通过 得 询 谷歌 地 图 的 解析 服务 器 ， 将 地 址 转换 成 坐标 
值 。 图 3.5 展 示 了 我 们 现在 部 署 的 bolt 设 计 。 


这 个 bolt 的 代码 如 代码 清单 3.3 所 示 ， 调 用 的 谷歌 地 图 服务 Java API| 地 址 是 https://code.google.com/p/geocoder-java/。 


扯 


[tIime="9:00 PM" ,address="281 Hudson S| 


[time="9:00 PM",gqeocode="40.72612,-74.001396"] 


| 


图 3.5 ”GeocodeLookup bolt 用 于 接收 发 射 过 来 的 Checkins 元 组 数据 ， 将 地 址 转换 成 坐标 值 


程序 清单 3-3 GeocodeLookup.java 


RD Le SS et extends BaseBaslicBolt { , el el 
rivate Geocoder geocoder.; ， 网 
本 四 继承 BaseBasicBolt 的 子 类 
QOverride 
public void declareOutputFields (OutputFieldsDeclarer fieldsDeclarer) { 
fieldsDeclarer.declare(new Fields("time", "geocode" ) ) ; 
通知 Storm 此 
加 bolt 会 发 射 两 个 
verride 、 _ 
字段 : 时 间 和 坐标 
public void prepare(Map config, 
TopologyContext context) { 
geocoder = new Geocoder () ; i 
} 初始 化 Google Geocoder 


We 


QOverride 
public void execute (Tuple tuple, 
BasicOutputCollector outputCollector) { 
String address = tuple.getStringByField("address"); 
Long time = tuple.getLongByField("time"); 


从 Checkins 
spout 发 送 过 
来 的 元 组 中 提取 
时 间 和 地 址 字段 


GeocoderRequest request = new GeocoderRequestBuilder() 
.SetAddress (address,) 
.SetLanguage ("en") 使 用 元 组 中 的 地 址 
.getGeocoderRequest ( ) ; 数据 查询 谷歌 地 图 的 
GeocodeResponse response = geocoder.geocode(request); Oo 解析 接口 
GeocoderStatus status = response.getStatus(); 
1f (GeocoderStatus.OK.equals(status)) { 
GeocoderResult firstResult = response.getResults() .get (0); 基于 时 间 标 
LatLng latLng = flrstResult .getGeometry() .getLocation(); 准 来 发 射 由 谷 
outputCollector.emit (new Values (time, latLng)); 歌 地 图 解析 接 
| 口 返回 的 第 一 
个 结果 


我 们 这 里 尽 可 能 地 简化 与 谷歌 地 图 解析 接口 (Geocoding AP1) 之 间 的 交互 ， 但 在 现实 应 用 中 ， 还 有 必要 去 处 理 报错 和 异 


返回 值 。 


另外 ， 合 歌 的 地 图 解析 接口 设置 了 严格 的 访问 配额 ， 它 并 不 适合 大 数据 应 用 。 如 果 要 实现 基于 大 数据 的 类 似 应 用 ， 而 


且 依 然 考 虑 选用 谷歌 的 地 图 服务 ， 那 你 可 能 需要 从 谷歌 获取 更 高 配额 的 访问 权限 。 另 外 ， 你 还 可 以 考虑 将 数据 缓存 至 本 地 ， 避 免 
频繁 地 调用 谷歌 的 API 服 务 。 


我 们 现在 残 得 到 了 每 个 签到 动作 发 生 的 时 | 间 和 经 纬度 坐标 数据 ， 那 么 输入 元 组 格式 
[time="9:00:07 PM", address="287 Hudson St New York NY 10013"] 
将 被 转换 为 下 面 的 输出 格式 


[tjme="9:00 PM", geocode="40.72612,-74.001396"] 


这 个 经 过 处 理 的 数据 将 组 成 新 的 元 组 ， 并 发送 到 下 一 个 bolt， 然 后 按照 时 间 频 率 进行 分 组 处 理 ， 具 体 方式 如 下 。 


3.4.3 ”bolt: 将 数据 寄 放 在 内 三 里 
接 下 来 ， 需 要 构建 热力 图 生成 需求 的 数据 结构 ， 该 bolt 的 设计 如 图 3.6 所 示 。 


| 
| 


[tjime="9:00 PM" ,qeocode="40.72612,-74.001396"] 


HeatMap 


' Buililder 


[time-interval="9:00:00 PM to 9:00:15 PM", 
hotzones=List((40.719908,-73.987277), 
(40.72612,-74.0013961) ， 
(40.719908,-73.987277)})] 


图 3.6 ”热力 图 生成 器 bolt 将 接收 到 包含 时 间 和 地 理 坐 标 数 据 的 元 组 ， 解 析 并 发 射 一 个 包含 时 间 间 隔 和 地 理 坐 标 列表 的 元 组 


这 里 什么 样 的 数据 结构 最 适合 呢 ? 我 们 已 经 从 GeocodeLookup bolt 取 得 了 解析 后 的 元 组 数据 ， 其 格式 为 [time="9: 
00PM"，geocode= "40.72612，-74.001396"]。 接 下 来 我 们 融 需 要 根据 时 间 间 隅 对 这 些 数据 做 分 组 操作 ， 例 如 设 定 一 个 15s 的 
时 间 间 隔 ， 那 么 输出 的 元 组 数据 格式 融 应 该 是 这 样 的 : [time-interval="9: 00: 00PM to9: 00: 
15PM", hotzones=List ( (40.719908，-73.987277) ， (40.72612, -74.001396) ， (40.719908，-73.987277) ) ]。 


为 了 将 经 纬度 坐标 数据 按时 间 来 分 组 ， 需 要 在 内 存 中 构建 一 个 数据 结构 ， 并 将 收 到 的 输入 元 组 按照 时 间 来 分 段 保 仓 ， 可 以 使 


用 映射 来 建 模 : 
Map<Long, List<LatLng>> heatmaps,; 


这 里 的 键 值 映 射 将 基于 初始 时 的 时 间 间 隔 。 我 们 不 用 考虑 时 间 间 隅 的 结束 点 ， 因 为 时 间 间 隅 都 是 一 样 长 的 。 而 值 集 则 是 对 应 
于 时 间 间 隔 内 的 坐标 列表 (包含 重复 的 数据 ， 或 者 接近 的 数据 ， 因 为 这 将 用 于 展示 热力 图 上 的 热 区 ) 。 


按照 以 下 三 个 步骤 来 构建 热力 图 : 

1. 将 接收 到 的 元 组 收集 到 内 存 映 射 表 中 。 

2. 配 置 这 个 bolt 以 便 能 基于 一 个 固定 频率 来 接收 数据 。 

3. 将 聚合 的 热力 图 数据 基于 时 间 间 隔 ， 发 送 到 Persistor bolt， 并 保存 到 数据 库 中 。 
接 下 来 束 分 别 展开 每 一 步 ， 然 后 再 将 它们 组 合 在 一 起 ， 首 先是 代码 清单 3.4。 

程序 清单 3-4 HeatMapBuilderjava 第 一 步 : 将 接收 到 的 元 组 收集 到 内 存 映 射 表 中 


private Map<Long, List<LatLng>> heatmaps; 


QOverride 
public void prepare (Map config, 
TopologyContext context) { 初始 化 内 存 映射 
heatmaps = new HashMap<Long, List<LatLng>>(); | 
} 


QOverride 
public void execute (Tuple tuple, 
BasicOutputCollector outputCollector) { 
Long time = tuple.getLongByField("time").,， 


LatLng geocode = (LatLng) tuple.getValueByField("geocode"); 选择 元 组 落 
入 的 时 间 间 隔 
Long timeInterval = selectTimeInterval (time).,; < 一 一 
List<LatLng> checkins = 9g9etChecklInsForInLerval (timeInterval).; 
checkins .add (geocode); < 二 一 一 
} 基于 时 间 间 隅 指标 
| on i 将 经 纬度 坐标 数据 汪 
private Long selectlimelnterva ong time 万 | 和 
return time / (15 * 1000); ed 


} 


private List<LatLng> getCheckinsForIinterval (Long timeInterval) { 
List<LatLng> hotzones = heatmaps .get (timeInterval).; 
1f (hotzones == null) ({ 
hotzones = new ArrayList<LatLng>(); 
heatmaps .put (timeInterval, hotzones).; 


} 


return hotzones; 


采集 元 组 的 绝对 时 间 点 是 由 第 一 次 签到 时 | 间 点 和 时 间 的 间隔 长 度 值 来 决定 的 ， 这 里 设置 的 是 15 秒 。 例 如 ， 如 果 签到 的 时 间 
点 是 9: 00: 07.535PM， 那 么 这 个 点 的 数据 点 将 被 划 入 9: 00: 00.000-9: 00: 15.000PM 的 区 间 内 。 我 们 需要 提取 时 间 段 的 
开始 时 间 束 是 9: 00: 00.000PM。 


现在 我 们 融 要 将 获取 的 元 组 导入 热力 图 中 ， 并 且 周 期 性 地 检测 然后 友 射 新 的 经 纬度 坐标 数据 过 来 ， 推 动 数据 可 以 以 bolt 的 形 


式 不 断 持 续 化 到 数据 库 中 。 
心跳 元 组 


有 时 候 你 可 能 需要 周期 性 地 去 触 友 一 个 动作 ， 例 如 收集 一 批 数据 ， 或 者 对 数据 库 执行 一 些 存 储 操作 。Storm 提 供 了 这 样 一 个 
功能 ， 叫 做 心跳 元 组 (tick tuple) ， 专 门 负责 类 似 这 样 的 事件 。 心 跳 元 组 经 过 配置 之 后 ， 可 以 按照 用 户 定义 的 频率 以 及 时 间 
点 ， 在 bolt 上 周期 性 地 调用 execute 方 法 。 你 要 做 的 是 检查 该 元 组 是 否 需 要 被 定义 为 由 系统 周期 性 触发 的 动作 ， 还 是 一 个 普通 的 
元 组 。 正 常情 况 下 的 拓扑 元 组 只 负责 将 数据 按 默 认 的 流 模式 处 理 传输 ， 而 心跳 元 组 则 是 基于 系统 的 心跳 触 皮 来 传输 数据 ， 这 样 看 
来 是 否 是 心跳 元 组 其 实 是 很 好 区 分 的 。 所 以 如 代码 清单 3.5 所 示 ， 展 示 了 如 何在 HeatMapBuilder 这 个 bolt 中 ， 配 置 并 处 理 心 跳 元 
组 的 代码 。 


程序 清单 3-5 ”HeatMapBuilder.java 第 二 步 : 配置 这 个 bolt 以 便 能 基于 一 个 固定 频率 来 接收 数据 


QOverride 
public Map<String, Object> getComponentConfiguration() { +4O— 
Config conf = new Config(); 重 写 这 个 ha 
conf .Put (Config.TOPOLOGY_ TICK TUPLE FREOQ_ SECS, 60); 便 更 灵活 地 配置 
return cont,; 件 运行 方式 ( 
中 为 心跳 元 组 的 
GOvertride 频率 ) 
public void execute (Tuple tuple, 
BasicOutputCollector outputCollector) { 
if (isTickTuple(tuple)) { ed 
// . . . take periodic action 如 果 我 们 需要 调 
起 工人 总 4 用 一 个 心跳 元 组 ， 
Long time = tuple.getLongByField("time"); 那么 需要 在 这 里 做 
LatLng geocode = (LatLng) tuple.getValueByField("geocode"); 此 修改 ,如 果 是 党 
Long timeInterval = selectTimeInterval (time).; 规 的 元 组 ， 维 持 
List<LatLng> checkins = getCheckinsForIinterval (timeInterval) 原样 


checkins.add (geocode).; 


} 


private boolean isTickTuple(Tuple tuple) { 
String sourceComponent = tuple.getSourceComponent ( ) ; 
String sourceStreamId = tuple.getSourceStreamId(); 
return sourceComponent .equals (Constants.SYSTEM COMPONENT_ID) 
&& SourceStreamId.equals (Constants.SYSTEM TICK STREAM ID).， 


LU- 


心跳 元 组 是 很 好 识别 的 ， 因 为 它 依靠 系 
统 组 件 来 实现 心跳 流 的 发 射 ,而 不 是 使 图 
我 们 自己 拓扑 上 实现 默认 流 而 定义 的 组 件 


注意 看 代码 清单 3.? 中 的 代码 ， 你 会 注意 到 一 部 分 心跳 元 组 是 在 bolt 层 中 配置 的 ， 由 getComponentConfiguration 来 实 


现 ， 而 案例 中 的 心跳 元 组 仪 限 发 送 至 该 bolt 的 实例 。 
心跳 元 组 的 发 射频 率 


我 们 配置 的 心跳 元 组 是 按照 每 60 秒 的 频次 来 发 射 一 次 数据 ， 但 这 并 不 意味 这 它 一 定 会 精确 地 每 60 秒 执行 一 次 发 射 ， 这 里 采取 
了 一 种 最 佳能 效 机 制 。 发 送 至 bolt 的 心跳 元 组 将 和 其 他 元 组 一 起 按 队 列 排 序 ， 等 待 队 列 最 前 面 的 bolt 完 成 execute () 方法 的 调 
用 。 而 一 个 bolt 也 不 一 定 会 按照 心跳 元 组 的 频率 来 执行 ， 因 为 如 果 流 数据 中 其 他 元 组 的 执行 存在 较 高 的 延迟 ， 那 么 该 bolt 将 继续 
在 队列 中 等 待 。 


我 们 可 以 使 用 心跳 元 组 来 作为 
一 个 bolt 可 以 进入 执行 〈 见 代码 清单 3.6) 。 


对 信号 ， 当 我 们 没有 新 的 输入 坐标 时 ， 可 以 将 它 友 射 至 bolt， 以 便 队 列 中 的 下 


程序 清单 3-6 HeatMapBuilder.java 第 三 步 : 将 聚合 的 热力 图 数据 基于 时 间 维 度 友 射 


QOverride 如 果 我 
public void execute (Tuple tuple, 们 拥有 一 
BasicOutputCollector outputCollector) { 个 心跳 元 
1f (isTickTuple(tuple)) 《{ 组 ， 可 以 
emitHeatmap (outputCollector).; < 将 其 理解 
} else 1 为 判断 一 
Long time = tuple.getLongByField("time"); 个 控制 执 
LatLng geocode = (LatLng) tuple.getValueByField("geocode"); 力图 发 身 
的 信号 
Long timeInterval = selectTimeInterval (time).,， 
List<LatLng> checkins = getCheckinsForIinterval (timeInterval); 
checkins.add (geocode); 
} 
对 于 我 } 
们 所 有 参 
与 运算 的 private void emitHeatmap (BasicOutputCollector outputCollector) 1{ 
时 间 段 ， Long now = System.currentTimeMil1lis() ，; 
如 果 其 中 Long emitUpToTimeInterval = selectTimeInterval (now) ; < 一 一 
其 一 段 已 Set<Long> timeIntervalsAvailable = heatmaps .keySet ( ) ; 
经 计算 完 for (Long timeInterval : timeIntervalsAvailable) { 
成 ， 那 入 1f (timeInterval <= emitUpToTimeInterval) { 
就 将 其 从 List<LatLng> hotzones = heatmaps.remove (timeInterval).;， 
内 存 中 的 outputCollector.emit (new Values (timeInterval, hotzones)),， 
数据 结构 | 
里 移 除 ， 发 射出 去 的 热力 图 都 被 默认 包含 先 
然后 发 射 | |! 于 当前 Us 到 数据 ， 这 也 是 
SE 
Es private Long selectTimeInterval (Long time) { 为 什么 % 们 将 当前 的 时 间 段 放 入 方法 
return time 2 (15 w 110007 ， ee 并 获得 
) 返回 的 当前 时 间 段 初始 时 间 点 


步骤 1、2 和 3 给 出 了 一 个 完整 的 HeatMapBuilder 实 现 ， 演 示 了 如 何 处 理 内 存 中 的 映射 ， 以 及 如 何 使 用 Storm 的 内 置 心跳 元 
组 按照 指定 的 时 间 段 来 发 送 元 组 。 完 成 这 段 部 署 之 后 ， 我 们 接 下 来 就 看 看 如 何 持 久 化 HeatMapBuilder 发 射 的 元 组 。 
线程 安全 


我 们 将 坐标 收集 起 来 并 保存 在 内 存 的 映射 表 中 ， 但 这 只 是 基于 一 个 常规 HashMap 〈 散 列表 ) 映射 创建 出 来 的 实例 。Storm 具 
备 高 度 扩展 性 ， 有 大 量 的 元 组 加 入 到 这 个 映射 表 中 ， 同 时 我 们 又 周期 性 地 从 中 移 除 一 部 分 。 那 么 像 这 样 在 内 存 中 对 数据 结构 的 修 
改 ， 是 否 存 在 线程 上 的 安全 问题 呢 ? 


中 


答案 是 一 定 的 ， 由 于 execute () 同一 时 间 只 会 执行 一 个 元 组 的 处 理 ， 所 以 在 线程 级 是 安全 的 。 无 论 是 常规 的 流 数 据 ， 还 是 一 
个 心跳 元 组 ， 只 会 有 一 个 JVM 线 程 在 执行 ， 并 且 基 于 bolt 的 实例 来 进行 代码 的 实现 。 那 么 在 一 个 给 定 的 bolt 实 例 中 ， 就 不 会 存在 多 
个 线程 并 发 的 情况 。 


那 这 是 否 意味 着 你 永远 不 需要 担心 线程 安全 导致 的 bolt 冲 突 呢 ? 不 是 ， 在 特定 情况 下 你 还 是 需要 考虑 的 。 


有 这 样 一 种 场景 ， 当 元 组 在 bolt 之 间 传 递 时 ， 如 何 实现 元 组 上 的 值 可 以 在 不 同 线程 上 执行 序列 化 呢 。 举 个 例子 ， 当 你 在 发 射 
内 存 中 的 数据 结构 时 ， 没 有 复制 就 直接 在 另外 一 个 线程 上 执行 序列 化 ， 而 正在 此 时 这 个 数据 发 生 了 变化 ， 那 么 系统 会 抛 出 一 个 名 
为 ConcurrentModificationException 的 异常 。 因 此 理论 上 讲 ， 任 何 发 射 到 OutputCollector 上 的 数据 ， 都 应 该 避免 出 现 类 似 情况 ,而 


其 中 一 种 方式 就 是 确保 数据 不 可 变更 。 
另外 一 种 方法 ， 就 是 你 可 以 基于 bolt 的 方法 execute () 创建 自 有 线程 。 举 个 例子 ， 如 果 不 是 使 用 心跳 元 组 的 实例 ， 而 是 建立 


PM", 


了 一 个 在 后 台 周 期 性 发 射 热 力图 的 线程 ， 那 么 此 时 你 必须 关注 线程 的 安全 性 ， 因 为 在 你 的 bolt 上 可 能 会 同时 运行 你 自己 的 线程 以 
Javascript 开 上 友 的 应 用 ， 可 以 从 数据 库 直 接 读 取 热 力图 数据 ， 然 后 借助 谷歌 的 地 图 接口 服务 绘制 出 可 视 化 的 地 理 效 果 图 。 我 们 设 


到 了 最 终 可 驻 持 生成 热力 图 的 元 组 ， 那 么 此 时 ， 我 们 已 经 可 以 将 数据 持久 化 到 数据 库 了 。 基 于 网 页 使 用 


及 Storm 线 程 。 
3.4.4 ”bolt: 持久 化 仓储 到 数据 库 


我 们 已 经 得 至 


计 中 的 最 后 一 个 bolt 如 图 3.7 所 示 。 
[time-Interval="9:00:00 PM to 9:00:15 


hotzones=List((40.719908,-73.987277), 
(40.12612,-/14.001396), 


(4U .119308,-13.98/127 71))|] 


Persistor 
其 中 包含 了 地 理 的 列表 数据 ， 然 后 将 数据 持久 化 到 数据 库存 储 中 


言 自 、 
Pi )， 


因为 我 们 基于 时 间 段 来 存储 并 访问 热力 图 ， 那 么 可 以 直接 使 用 键 - 值 的 数据 模型 来 实现 存储 。 在 这 个 案例 中 ， 我们 将 采取 


图 3.7 Persistot bolt 基 于 时 间 间 隔 接 ! 收 元 组 1 

Redis， 当 然 其 他 类 似 支持 键 - 值 模型 的 数据 库 也 可 以 (例如 Membase、Memcached 或 者 Riak) 。 我 们 将 基于 时 间 间 隔 将 热力 

图 数据 存储 为 JSON 格 式 ， 列 表 化 表示 坐标 ， 然 后 使 用 Jedis 作 为 Java 的 客户 端 ， 调 用 Redis 和 Jackson JSON 库 来 实现 从 热力 图 到 
我 到 底 应 该 选 哪 一 个 NoSQL 解 决 方案 呢 ?， Ff 


JSON 格 式 的 转换 。 
NoSQL 或 者 其 他 与 Storm 协 作 的 数据 库 
讨论 处 理 海量 数据 相关 的 NoSQL 等 数据 存储 解决 方案 ， 已 经 超出 了 本 书 的 范围 ， 但 至 少 你 也 得 确保 自己 在 最 开始 选择 数据 


存储 方案 时 ， 找 到 的 是 最 合适 的 方案 。 
对 于 很 多 人 来 说 ， 通 常 都 会 在 选择 方案 的 时 候 问 自己 : 
适 的 ， 相 反 ， 你 要 考虑 的 更 应 该 是 你 需要 实现 的 功能 ， 以 及 这 些 功 能 对 数据 存储 方案 的 需求 。 


人 
你 可 以 按照 以 下 思路 来 整理 目 己 的 需求 和 问题 : 


. 哪些 才 是 符合 你 数据 存 取 模 式 的 存储 模型 
. 列 / 列 禾 导向 

. 键 一 值 模式 

. 文档 型 导向 

. 有 对 象 集合 /无 对 象 集合 

. 对 一 致 性 和 可 用 性 的 要 求 程度 


一 旦 你 可 以 确定 需求 方案 ， 那 么 就 可 以 很 容易 找到 适合 的 方案 ， 无 论 是 NoSQL、NewSQL 或 者 是 其 他 。 当 然 ， 不 存在 一 种 万 


能 的 NoSQL 方 案 ， 也 没有 最 完美 匹配 Storm 的 解决 方案 ， 一 切 都 需要 基于 需求 来 定 。 
那么 ， 融 让 我 们 来 看 看 如 何 实现 NoSQL 写 入 功能 的 代码 吧 (如 代码 清单 3.7 所 示 ) 。 
程序 清单 3-7 Persistor.java 


public class Persistor extends BaseBasicBolt { 
private final Logger logger = LoggerFactory.getLogger (Persistor.class).,; 


private Jedis JjJedis; 
private ObjectMapper objectMapper:; 
QOverride 
public void prepare (Map stormConf, 
TopologyContext context) { 
Jedis = new Jedis("localhost"); 
objectMapper = new ObjectMapper ( ) ; 


实例 化 一 个 Jedis 对 
象 ， 然 后 将 它 连 接 至 运 
行 在 本 地 的 Redis 上 


将 经 纬度 ) 实例 化 JSON 
数 据 由 列 ObjectMapper 对 象 
表 按 照 格 式 | wovw ia 用 于 热力 图 的 序列 化 
(latitude, public void execute (Tuple tuple, 
longitude) BasicOutputCollector outputCollector) { 
转换 为 字符 串 Long timeInterval = tuple.getLongByField("time-interval"); 


List<LatLng> hz = (List<LatLng>) tuple.getValueByField("hotzones").,， 
LiLSteStrings otrzonees = asuLLetQrtotrinogs thes 


序列 化 坐 
try 1 标 列表 (从 当 
String key = "checkins-" + timeInterval; 前 的 String 
String Value = objectMapper.writeValueAsString (hotzones); 了 格式 转换 至 
| > jedis.set (key, value).; 二 
基于 时 间 WS JSON 格式 ) 
交 } catch (Exception e) { 
作 洗 执 力 惨 ， ， 
段 将 热力 图 logger.error ("Error persisting for time: " + timeInterval, e); 
的 JSON 写 } 
入 Redis } 
的 键 值 


private List<String> asListOfStrings (List<LatLng> hotzones) { 


List<String> hotzonesStandard = new ArrayList<String> (hotzones.size()).， 
for (LatLng geoCoordinate : hotzones) { 
hotzonesStandard.add (geoCoordinate.toUrlVvalue()):; 我 们 不 对 任何 数 
} 据 库 失败 操 ff 做: 重 
return hotzonesStandard,; 试 ， 因 为 这 是 一 个 
} 不 可 靠 的 流 
QOverride 
public void cleanup() { 
if (jedis.isConnected()) { 当 Storm 的 拓扑 
Jedisg ult(): < 站 停止 之 后 ， 关 闭 与 
} Redis 的 连接 


} 


QOverride 
public void declareOutputFields (OutputFieldsDeclarer declarer) 1 


// No output fields to be declared < 一 一 I 
) 这 是 最 后 一 个 bolt， 所 以 就 不 
} 会 有 六 元 组 从 中 发 射 过 来 ， 也 就 


TH 
Re 有 新 的 字段 需要 申明 了 


调用 Redis 其 实 非常 简单 ， 它 非常 适合 我 们 这 个 案例 的 数据 存储 。 但 对 于 较 大 规模 的 海量 数据 应 用 或 者 数据 集 ， 就 有 必要 考 
虑 其 他 类 型 的 数据 存储 了 。 有 一 点 需要 注意 的 是 ， 因 为 我 们 处 理 的 是 不 可 靠 的 数据 流 ， 那 么 在 数据 库 运行 时 一 旦 报错 ， 只 会 做 简 
单 的 日 志 记 录 。 而 当 我 们 在 处 理 可 靠 的 数据 流 时 ， 一 旦 有 些 错误 是 可 以 重 试 的 (例如 超时 ) ， 我 们 就 会 考虑 如 何 去 再 执行 一 次 ， 
更 多 解释 详 见 第 4 章 。 


区 分 组 策略 


在 第 2 草 中 ， 我 们 学 到 了 两 种 方式 来 连接 拓扑 结构 ， 随 机 分 组 和 字段 分 组 ， 这 里 复习 一 下 : 
你 可 以 使 用 随机 分 组 来 分 发 元 组 至 各 组 件 ， 结 果 将 会 是 随机 且 均 匀 展 开 。 
“ 你 可 以 使 用 字段 分 组 来 确保 元 组 基于 选 定 字段 的 值 总 是 发 送 到 指定 的 下 一 个 bolt 实 例 中 。 
一 个 随机 分 组 结构 应 该 分 别 被 应 用 在 Checkins 与 GeocodeLookup 和 HeatMapBuilder 与 Persistor 之 间 的 流 数据 上 。 


但 我 们 需要 将 整个 沅 数 据 都 从 GeocodeLookup 的 bolt， 友 运 人 到 HeatMapBuilder 的 bolt。 如 果 从 GeocodeLookup 友 出 的 
个 同 元 组 最 终 是 汇聚 到 的 是 不 NE 我 们 整 无 法 基于 时 | 间 段 来 对 其 执行 分 组 了 ， 因 为 它们 自己 就 可 以 分 
发 至 不 同 的 HeatMapBuilder 中 。 这 里 就 需要 引入 全 局 分 组 (global grouping) 了 ， 它 可 以 确保 所 有 的 元 组 流 都 将 各 自 汇聚 至 
ee 特别 是 当 整 个 元 组 流 在 汇聚 至 HeatMapBuilder 的 过 程 中 ， 处 于 最 低 优 先 级 的 任务 ID 0 
Storm 在 内 部 分 友 ) 。 这 样 当 所 有 元 组 都 汇聚 在 一 起 的 时 候 ， 我 们 融 可 以 更 轻松 地 基于 时 间 段 ， 将 对 应 时 间 段 内 的 元 组 进行 分 组 
ds 


[本 
© 


如 果 不 使 用 全 局 分 组 的 时 候 ， 你 也 可 以 使 用 一 个 单独 的 HeatMapBuilder 实 例 polt 来 实现 随机 分 组 。 因 为 只 有 一 个 ， 所 以 这 样 也 
能 保证 它们 都 能 汇聚 到 一 个 相同 的 HeatMapBuilder 实 例 中 。 但 我 们 更 倾向 在 代码 中 就 要 明确 指出 ， 使 用 全 局 分 组 来 清楚 地 传达 所 
需 的 行为 。 另 外 ， 全 局 分 组 的 开销 也 很 低 ， 因 为 它 不 需要 选取 一 个 随机 的 实例 ， 然 后 再 将 它 发 射 到 一 个 随机 的 群 组 中 。 


那么 束 让 我 们 来 看 看 如 何 定义 这 些 流 的 分 组 模式 ， 以 及 如 何在 代码 中 实现 ， 并 且 在 拓扑 上 执行 起 来 。 


3.4.6 ”在 本 地 集群 模式 中 构建 一 个 拓扑 


我 们 就 快 完成 了 ， 接 下 来 只 需要 将 所 有 都 结合 在 一 起 ， 然 后 放 在 一 个 本 地 的 集群 拓扑 上 执行 就 可 以 了 ， 就 像 我们 在 第 2 章 中 
介绍 的 那样 。 但 在 这 一 章 里 ， 我 们 将 基于 一 个 LocalTopologyRunner 类 来 运行 所 有 代码 ， 其 中 代码 分 为 两 个 类 : 一 个 类 用 于 构 
建 拓 扑 ， 另 外 一 个 类 用 于 运行 拓扑 。 这 是 一 个 常用 的 方式 ， 你 很 快 就 能 在 本 章 中 发 现 它 的 好 处 了 ， 到 了 第 4 和 和 第 5 章 我 们 再 来 学 
习 它 的 原理 。 


下 面 的 代码 将 演示 如 何 构 建 拓扑 。 


程序 清单 3-8 HeatmapTopologyBuilder.java 


将 拓扑 中 的 bolt 

public class HeatmapTopologyBuilder { 二 | 和 spout 按 顺 序 串 起 

public StormTopology build() ({ 来 ， 在 这 里 的 拓扑 中 ， 

TopologyBuilder builder = new TopologyBuilder(); | 组件 都 以 串 行 的 形式 

我 们 使 用 按照 顺序 连接 起 来 
全 局 分 组 来 连接 builder.setSpout ("checkins", new Checklns () ) ; 

HeatMapBuilder Burloer,setholtl gescoce- ODN 7 new GeocodeLookup()) 这 两 个 bolt 
到 Checkins i z 了 使 用 了 随机 分 组 
builder.setBolt ("heatmap-builder", new HeatMapBuilder () ) 来 连接 它们 上 一 
> .globalGrouping ("geocode-lookup"); 个 对 应 的 组 件 
builder.setBolt ("persistor", new Pers1lstor () ) 0 


那么 这 些 bolt 


.ShuffleGrouping ("heatmap-builder").,， < 二 一 
将 按照 随机 形式 
return builder.createTopology(); 均匀 接收 输入 的 
} 元 组 


了 解 了 定义 拓扑 的 代码 ， 接 下 来 就 要 了 解 如 何 基于 LocalTopologyRunner 来 实现 部 署 。 


程序 清单 3-9 LocalTopologyRunner.java 


public class LocalTopologyRunner { 一 个 包含 最 简单 main () 
public static void main(String[] args) { < 方法 的 Java 类， 用 于 启动 
| > Config config = new Conf1lg() ; 拓扑 
调 用 Storm 
中 上 gj、 . 
的 默认 config StormTopology topology = HeatmapTopologyBuilder.build(); 创建 一 个 
配置 ， 不 做 任何 a 
调整 LocalCluster localCluster = new LocalCluster(); 时 i 
localCluster.submitTopology ("local-heatmap", config, topology); < 
} i 、， 
提交 拓扑 并 且 在 本 


} RS 
地 集群 模式 中 运行 它 


现在 我 们 就 有 了 一 个 运行 中 的 拓扑 ， 我 们 可 以 从 我 们 的 spout 中 读 取 签到 数据 ， 然 后 在 最 后 ， 基 于 时 间 段 将 这 些 数据 持久 化 
到 Redis 中 ， 并 完成 热力 图 拓扑 的 部 署 。 我 们 唯一 剩 下 的 工作 融 是 基于 Javascript 应 用 程序 来 读 取 Redis 中 的 数据 ， 然 后 使 用 热力 
图 的 于 加 功能 ， 信 助 谷歌 的 地 图 服务 接口 来 创建 可 视 化 的 效果 。 


这 个 简单 的 代码 是 可 以 运行 ， 但 是 否 广 持 扩 展 呢 ? 效率 是 否 足 够 高 效 呢 ?让 我 们 再 深 挖 一 下 。 


3.5 扩展 拍 扑 


让 我 们 回顾 一 下 ， 这 里 已 经 实现 了 一 个 运行 中 的 拓扑 ， 它 的 原理 大 致 如 图 3.8 所 示 。 
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[time-interval="9:00:00 PM to 9:00:15 PM", 
hotzones=List((40.719908,-73.987277),，, 
(40.72612,-74.001396),， 
(40.719908,-73.987277))|] 


| 
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图 3.8 ”热力 图 拓扑 


那么 这 里 残 有 一 个 问题 ， 因 为 现在 创建 的 拓扑 将 以 囊 行 的 形式 工作 ， 基 于 时 间 点 来 处 理 签到 数据 ， 这 种 方式 并 不 具备 网 络 化 
扩展 。 如 果 我 们 区 这样 上 线 ， 那 么 客户 一 定 不 会 满意 的 ， 因 为 一 旦 运行 起 来 ， 必 定 出 现 堵塞 的 情况 ， 运 维 团队 也 会 抱 息 ， 很 有 可 


能 还 会 影响 投资 人 。 
什么 是 网 络 化 扩展 


一 个 具备 网 络 化 扩展 的 系统 ， 需 要 具备 不 通过 停机 就 可 以 基于 网 络 集群 化 实现 运算 能 力 的 扩展 。 当 一 个 用 户 音 欢 你 的 产品 ， 
然后 一 传 十 十 传 百 ， 服 务 和 需求 将 会 是 成 指数 级 增长 ， 而 这 也 第 被 称 为 是 需求 的 网 络 化 扩展 。 


我 们 需要 同一 时 间 处 理 多 个 签到 数据 ， 那 么 融 需 要 在 拓扑 中 引入 并 上 友 机 制 。storm 中 一 个 最 吸引 和 人 的 特性 ， 融 是 它 可 以 轻松 
地 实现 并 友 流程 来 处 理 类 似 热 力图 这 样 的 需求 。 让 我 们 再 来 看 看 拓扑 中 的 各 部 分 ， 它 们 都 是 如 何 实现 并 友 的 。 还 是 先 从 签到 说 
起 。 


3.5.1 理解 Storm 中 的 并 行 机 制 


storm 有 额外 的 原 语 ， 融 像 是 提供 了 一 个 旋钮 开关 来 调整 扩展 性 。 如 果 你 不 础 它们， 拓扑 依然 会 正 弟 工作 ， 但 组 件 或 多 或 少 
会 形成 线性 工作 机 制 。 对 于 只 处 理 一 些小 型 的 流 数 据 ， 这 样 是 可 行 的 ， 但 对 于 像 热 力图 这 样 的 基于 大 数据 处 理 的 拓扑 ， 我 们 束 希 
望 在 上 面 杜绝 处 理 能 力 的 瓶 贷 。 在 本 证 中 ， 你 将 学 到 两 个 原 语 来 控制 系统 的 扩展 ， 下 一 章 我 们 再 考虑 其 他 类 型 的 扩展 方法 。 


并 行 性 触 点 


已 知 我 们 需要 尽快 处 理 签到 数据 ， 所 以 需要 通过 在 spout 上 实现 并 行 机 制 来 处 理 所 有 的 签到 数据 。 这 里 需要 关注 的 拓扑 区 域 
如 图 3.9 所 示 。 
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[time="9:00 PM",address="287 Hudson St"| 


图 3.9 ”在 Checkins 的 spout 上 考虑 增加 并 行 性 机 制 
storm 可 以 让 你 人 在 定 义 spout 和 bolt 时 ， 设 置 一 个 并 行 性 触 点 (parallelism hint) 。 在 代码 中 ， 我 们 将 转换 以 下 代码 
bullder.setSpout ("checkins", new Checkins()).; 
至 新 的 spout 上 ， 代 码 如 下 : 
bulillder.setSpout ("checkins", new Checkins(), 4),; 
我 们 在 setspout 上 额外 传递 的 一 个 参数 融 是 并 上 设置 ， 称 之 为 并 行 性 触 点 。 那 什么 是 并 行 性 触 点 呢 ? 融 目 前 来 说 ， 我 们 可 


以 认为 并 行 性 触 点 是 在 告知 Storm 需 要 创建 多 少 个 处 理 签到 数据 的 spout。 在 这 个 例子 中 ,我们 创建 了 四 个 实例 来 实现 spout,， 
其 实 它 还 有 很 多 作用 ， 这 里 我 们 先 用 到 这 一 点。 


那么 现在 当 我 们 在 运行 拓扑 时 ， 融 可 以 同时 处 理 四 个 签到 数据 了 ， 但 仪 仪 靠 增加 拓扑 中 的 spout 和 bolt 数 量 是 远 远 不 够 的 ， 
因为 拓扑 中 的 并 行 性 是 基于 输入 和 输出 的 ， 所 以 当 Checkins spout 可 以 同时 处 理 多 个 签到 数据 时 ，GeocodeLookup bolt 仍 在 
串联 执行 。 将 四 个 签到 数据 同时 发 送 到 一 个 GeocodeLookup 实 例 是 不 合理 的 ， 如 图 3.10 所 示 ， 就 是 我 们 目前 遇 到 的 问题 。 


GeocodeLookup 
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GeocodeLookup 实例 成 为 了 
片 颈 ， 因 为 它 不 可 能 同时 接受 
同时 间 发 送 过 来 的 大 量 元 组 
图 3.10 ”四 个 Checkins 实 例 同 时 发 射 元 组 至 一 个 GeocodeLookup 实 例 的 结果 就 是 GeocodeLookup 实 例 成 为 了 整体 中 的 瓶颈 部 分 
现在 ,我 们 束 像 是 造 了 一 辆 马戏 团 的 小 丑 车 ， 所 有 的 小 丑 都 想 从 同一 个 车 门 挤 上 去 。 这 个 瓶 贷 问题 必须 想 办 法 解决 ， 我 们 可 
以 在 地 理 查 询 的 bolt 上 试 试 并 友 优 化 ， 与 处 理 签到 的 并 友 模 式 类 似 ， 我 们 可 以 采取 同样 的 方式 来 为 地 理 查 询 bolt 增 加 并 友 特 性 ， 
将 以 下 代码 


builder.setBolt ("geocode-lookup", new GeocodeLookup()); 


builder.setBolt ("geocode-lookup'", new GeocodeLookup(), 4); 


现在 我 们 惑 为 每 个 Checkins 实 例 都 对 应 创建 了 一 个 GeocodeLookup 实 例 ， 但 GeocodeLookup 需 要 化 费 更 多 的 时 间 在 接收 
签到 数据 ， 处 理 完 成 后 再 发 送 给 我 们 的 下 一 个 bolt， 因 此 我 们 可 能 需要 进一步 优化 成 这 样 : 


builder.setBolt ("geocode-lookup", new GeocodeLookup(), 8); 


那么 现在 ， 即 使 GeocodeLookup 需 要 花费 两 倍 的 时 间 来 处 理 签到 数据 ， 元 组 也 能 顺利 而 快速 地 通过 系统 运算 ， 效 果 如 图 
3.11 所 示 。 


进展 到 这 里 ， 我 们 还 需要 考虑 的 是 : 我 们 的 应 用 接 下 来 会 发 生 什 么 情况 ? 通过 这 种 扩展 机 制 ， 我 们 在 保证 数据 量 增 大 的 同时 
实现 了 系统 的 扩展 ， 还 避免 了 任何 停机 行为 ， 至 少 不 会 频繁 地 出 现 服 务 掉 线 吧 。 感 谢 Storm 提 供 了 这 样 的 一 种 模式 。 前 面 我 们 很 
粗略 地 定义 了 并 行 性 触 点 ， 现 在 有 必要 详细 展开 说 明 一 下 ， 包 括 两 个 还 没 来 得 及 说 明 的 概念 : 执行 器 (executor) 和 任务 
(task) 。 


Checkins GeocodeLookup 


| 下 NM Zo Hidaonm Se” 


OOOOOOOOO 


图 3.11 四 个 Checkins 实 例 发 射 元 组 至 八 个 GeocodeLookup 实 例 
执行 器 和 任务 


什么 是 执行 器 和 任务 呢 ? 如 果 要 深入 得 理解 ， 还 需要 对 Storm 的 集群 和 其 各 组 件 先 有 个 完整 了 解 。 尽 管 我 们 在 第 5 章 才 会 开 
始 聊 Storm 的 集群 ， 但 这 里 可 以 先 对 Storm 的 集群 做 一 个 简单 的 介绍 ， 有 助 于 你 在 拓扑 如 何 进 行 扩 展 的 层面 上 ， 理 解 执 行 器 和 任 
务 可 以 起 到 的 作用 。 


到 目前 为 止 ， 我 们 已 经 让 spout 和 bolt 可 以 作为 一 个 或 多 实例 运行 起 来 了 。 每 一 个 实例 总 是 需要 企 某 个 系统 上 运行 的 ， 对 


吧 ? 那么 这 里 一 定 有 一 个 类 似 虚 拟 机 这 样 的 环境 (也 许 是 物理 机 ) ， 我 们 称 这 样 的 机 器 为 一 个 工作 结 点 (worker node) ， 尽 
管 工作 结 点 不 是 Storm 上 运行 的 唯一 一 类 结 点 ， 但 它 主 要 用 于 为 spout 和 bolt 提 供 逻 辑 层 执 行 。 因 为 storm 是 运行 在 JVM 上 的 ， 
所 以 每 一 个 工作 结 点 都 会 基于 JVM 来 执行 spout 和 bolt。 以 上 内 容 的 逻辑 图 解析 如 图 3.12 所 示 。 
/人 工作 结 点 
无 论 你 安装 的 是 什 

么 系统 ,一 个 工作 缩 JVM 一 个 工作 结 点 拥有 个 

太 部 会 运行 在 物理 或 JVM 的 执行 敢 辑 屋 ， 用 

虚拟 机 里 于 处 理 拓扑 中 的 spout 

和 bolt 


图 3.12 一 个 工作 结 点 会 运行 在 一 个 物理 或 虚拟 机 上 的 JVM， 用 于 执行 spout 和 bolt 的 逻辑 层 


再 说 说 工作 结 点 ， 重 要 的 是 你 已 经 知道 它 是 运行 在 JVM 上 ， 用 于 执行 Spout 和 bolt 的 实例 ， 那 么 我 们 束 一 定 要 再 次 提出 这 样 
的 问题 : 什么 是 执行 器 和 任务 呢 ? 执行 器 束 是 一 个 人 VM 上 的 执行 线程 ， 而 任务 则 是 在 执行 线程 上 运行 的 spout 和 和 bolt 实 例 ， 这 几 


者 之 间 的 天 系 如 图 3.13 所 示 。 


所 以 惑 是 这 么 简单 ， 执 行 器 瓯 是 一 个 JVM 的 线程 ， 任 务 束 是 一 个 运行 线程 上 的 spout 或 bolt 的 实例 ， 但 凡 本 章 中 讨论 到 扩展 
能 力 的 时 候 ， 我 们 都 指 的 是 调整 执行 器 或 任务 的 数量 。Storm 提 供 了 另外 一 套 机 制 来 改变 工作 结 点 和 JVM 的 数量 ， 我 们 将 在 第 6 
章 和 第 7 章 中 详细 讨论 。 

让 我 们 再 来 看 看 代码 ， 到 底 是 如 何 实现 并 行 性 触 点 的 。 和 设置 GeocodeLookup 类 似 ， 我 们 将 并 行 性 触 点 设置 为 8， 相 当 于 
告知 Storm 需 要 创建 8 个 执行 器 (线程 ) ， 然 后 再 运行 8 个 GeocodeLookup 任 务 (实例 ) ， 代 码 如 下 : 


builder.setBolt ("geocode-lookup'", new GeocodeLookup(), 8) 
默认 情况 下 ， 并 行 性 触 点 将 同时 设置 执行 器 和 任务 ， 并 配置 为 同样 的 参数 值 。 我 们 也 可 以 通过 以 下 方法 来 重 写 
setNumTasks () 方法 修改 任务 数 。 


builder.setBolt ("geocode-lookup'", new GeocodqeLookup () ，8) .setNumTasks (8) 
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图 3.13 ”运行 在 一 个 VM 上 的 执行 器 (线程 )》 和 任务 (spout 或 bolt 的 实例 ) 的 结构 


那么 为 什么 要 提供 这 样 的 选项 来 分 别 设置 任务 和 执行 器 的 数量 呢 ? 在 回答 这 个 问题 之 前 ， 先 回顾 一 下 已 经 完成 的 部 分 。 我 们 
已 经 讨论 了 如 何在 不 停机 的 情况 下 ， 实 现 热力 图 的 绘制 能 力 扩 展 ， 那 么 最 快 的 方式 是 什么 呢 ”答案 是 增加 并 行 性 。 手 运 的 
是 ，storm 提 供 的 功能 允许 我 们 基于 拓扑 快速 地 动态 调整 执行 器 (线程 ) 的 数量 ， 以 便 提 高 并 行 性 ， 具 体 解释 将 在 第 6 章 中 详细 
过 论 。 

那么 对 于 我 们 的 GeocodeLookup bolt 来 说 ， 跑 在 8 个 线程 上 的 8 个 实例 意味 着 什么 呢 ? 事实 上 ， 这 些 实例 大 部 分 时 间 都 是 
在 等 待 网 络 通信 IMO。 我 们 假定 GeocodeLookup 在 未 来 会 成 为 一 个 聚焦 点 ， 可 能 面临 扩展 的 需求 ， 那 么 我 们 惑 需 要 对 这 种 可 行 
性 增加 一 段 代码 : 

builder.setBolt ("geocode-lookup", new GeocodeLookup(), 8) .setNumTasks (64) 
现在 我 们 就 有 64 个 GeocodeLookup 任 务 (实例 ) 跑 在 8 个 执行 器 (线程 ) 上 了 ， 由 于 是 为 了 增加 GeocodeLookup 的 并 行 


性 ， 所 以 我 们 可 能 需要 持续 增加 执行 器 的 数量 ， 直 人 到 达到 64 个 ， 而 且 在 整个 过 程 中 还 不 需要 让 拓扑 中 断 停机 。 重 复 一 裔 : 没有 
让 拓扑 终端 停机 哦 ! 之 前 我 们 也 提 到 过 这 一 操 ， 在 稍 后 的 草 节 中 将 详细 讨论 如 何 实 现 这 些 的 细节 。 但 这 里 的 关键 点 在 于 需要 明日 


执行 器 (线程) 的 数量 ， 可 以 在 一 个 运行 的 拓扑 上 动态 地 调整 。 


Storm 将 并 行 性 分 别 配 置 到 执行 器 和 任务 中 ， 来 用 于 处 理 我 们 手 上 这 类 GeocodeLookup bolt 的 场景 。 为 了 进一步 说 明 原 
理 ， 我 们 先 回 到 一 个 字段 分 组 的 定义 上 : 


字段 分 组 是 流 数据 分 组 中 的 一 类 ， 它 将 拥有 相同 字段 的 元 组 定向 发 射 至 具备 同样 字段 的 bolt 实 例 上 。 


基于 这 个 定义 ， 我 们 可 以 从 中 及 现 答案 其 实 强 合 在 其 中 。 由 于 元 组 采取 了 一 致 的 散 列 模式 ， 可 以 让 一 个 bolt 的 集合 都 能 实现 
字段 分 组 。 为 了 保证 具备 相同 数据 的 键 值 最 终 发 射 至 对 应 的 bolt，bolt 的 数量 就 不 允许 改变 。 如 果 变 了 ， 那 么 元 组 可 能 会 流入 到 
不 同 的 bolt， 而 这 也 将 导致 字段 分 组 的 目的 失效 。 


在 Checkins 的 spout 和 GeocodeLookup 的 bolt 上 配置 执行 器 和 任务 是 很 容易 的 ， 都 可 以 用 来 实现 扩展 。 不 过 有 时 ， 我 们 在 
这 个 上 面 的 配置 不 一 定 会 让 扩展 设计 如 愿 以 偿 ， 接 下 来 就 看 看 为 什么 。 


3.5.2 ”调整 拓扑 配置 来 解决 设计 中 遗留 的 手 须 


接 下 来 看 看 HeatMapBuilder 类 ， 之 前 我 们 曾 提 到 对 Checkins 的 spout 执 行 并 友 优 化 时 ， 在 GeocodeLookup 上 仙 到 了 瓶 
颈 ， 我 们 通过 直接 增加 GeocodeLookup 上 对 应 的 bolt 并 行 性 触 点 来 解决 这 个 问题 。 但 在 这 里 融 不 行 了 ， 因 为 HeatMapBuilder 
的 上 一 级 连接 的 bolt 调 用 的 是 全 局 分 组 ， 全 局 分 组 强调 的 是 每 个 元 组 都 要 对 应 一 个 指定 的 HeatMapBuilder 实 例 ， 所 以 束 无 法 通 
过 简单 增加 并 行 性 触 点 来 提升 并 行 性 性 能 的 。 也 就 是 说 ， 在 整个 流 处 理 流程 上 ， 是 只 有 一 个 激活 实例 的 ， 因 此 这 也 必然 成 为 我 们 
拓扑 设计 中 的 一 个 瓶颈 。 


这 也 是 运用 全 局 分 组 的 一 个 缺陷 ， 因 为 基于 全 局 分 组 ,我 们 具备 了 可 扩展 的 能 力 ， 但 也 引入 了 将 整个 元 组 流 都 涌 入 到 一 个 指 
定 bolt 实 例 的 撼 须 。 


那么 我 们 能 做 什么 呢 ? 如 何在 拓扑 里 面 对 这 部 分 实现 并 友 优 化 呢 ? 如 果真 的 无 法 对 该 bolt 实 现 并 友 ， 那 去 优化 后 面 的 环节 也 


束 没 什么 意义 了 ， 所 以 这 融 是 整个 拓扑 的 瓶颈 点 ， 而 且 无 法 在 现 有 的 设计 上 去 做 调整 。 当 我 们 遇 到 类 似 这 样 的 问题 时 ， 最 好 的 方 
陈 是 站 远 一 点 ， 从 拓扑 设计 的 整体 上 看 ， 我 们 还 有 没有 其 他 办 法 去 解决 这 个 问题 。 


对 于 无 法 在 HeatMapBuilder 上 实现 并 上 友 的 理由 ， 主 要 是 因为 元 组 都 需要 进入 同一 个 实例 ， 才 能 完成 下 一 步 的 处 理 ， 而 全 部 
进入 同一 个 实例 的 原因 ， 叉 是 为 了 确保 元 组 可 以 按照 指定 的 时 间 段 来 实现 分 组 。 所 以 如 果 我 们 能 有 另外 一 种 办 法 ， 来 实现 元 组 可 
以 基于 时 间 段 的 分 组 ， 进 入 具备 相同 字段 的 实例 执行 处 理 ， 那 么 我 们 就 能 创建 更 多 个 HeatMapBuilder 的 实例 了 。 


所 以 现在 ， 我 们 就 需要 确保 HeatMapBuilder bolt 可 以 实现 两 个 目的 : 
` 确定 为 一 个 输入 的 元 组 指定 时 间 段 。 
. 基于 时 间 段 分 组 元 组 。 


如 果 这 两 个 动作 可 以 由 两 个 不 同 的 bolt 来 完成 ， 那 么 我 们 就 能 基本 上 解决 问题 了 。 先 看 看 如 何 让 HeatMapBuilder bolt 实 现 
确定 一 个 输入 元 组 的 时 间 段 ， 代 码 如 代码 清单 3.10 所 示 。 


程序 清单 3-10 ”HeatMapBuilderjava 中 如 何 确认 元 组 所 处 的 时 间 段 


public void execute (Tuple tuple, 
BasicOutputCollector outputCollector) { 
if (isTickTuple(tuple)) { 
emitHeatmap (outputCollector).,， 


} else { 
Long time = tuple.getLongByField ("time"); 
LatLng geocode = (LatLng) tuple.getValueByField('"geocode").,， 
Long timeInterval = selectTimeInterval (七 Ime) ; 
List<LatLng> checkins = getCheckinsForIinterval (timeInterval); 


checkins.add (geocode).; 


| 


private Long selectTimeInterval (Long time) { 
return time / (15 * 1000)，; 


} 


HeatMapBuilder 主 要 接收 到 来 自 签 到 的 时 间 数 据 ， 以 及 来 自 GeocodeLookup 的 经 纬度 数据 ， 那 么 我 们 将 从 
GeocodeLookup 友 出 的 元 组 中 提取 时 间 段 的 任务 ， 放 到 另外 一 个 bolt 中 来 处 理 ， 并 命名 为 TimelntervalExtractor， 用 于 专项 处 
理 时 间 段 的 划分 以 及 来 自 HeatMapBuilder 的 坐标 轴 数 据 ， 代 码 如 代码 清单 3.11 所 示 。 


程序 清单 3-11 TimelntervalExtractor.java 


public class TimeIntervalExtractor extends BaseBasicBolt { 
@Override 
public void declareOutputFields (OutputFieldsDeclarer declarer) { 
declarer.declare (new Fields ("time-interval", "geocode")); 


| 计算 时 间 段 以 及 
@Override 该 时 间 段 内 发 射 
public void execute (Tuple tuple, 的 经 纬度 坐标 数 
BasicOutputCollector outputCollector) { 据 (而 不 是 基于 时 

Long time = tuple.getLongByField("time"),， 间 来 计算 经 纬度 举 
LatLng geocode = (LatLng) tuple.getValueByField ("geocode"); 标 数据 )， 并 提交 至 
Long timeInterval = time / (15 * 1000);，; + | HeatMapBuilder 


outputCollector.emit (new Values (timeInterval, geocode));， 


wd 


那么 为 了 引入 TimelntervalExtractor， 我 们 也 需要 在 HeatMapBuilder 中 做 一 些 调整 ， 由 于 不 再 基于 输入 元 组 来 对 时 间 分 
段 ， 那 么 我 们 需要 更 新 bolt 的 execute () 方法 ， 用 于 直接 接收 时 间 段 ， 代 码 如 代码 清单 3.12 所 示 : 


程序 清单 3-12 更 新 HeatMapBuilder.java 中 的 execute () 方法 ， 用 于 直接 处 理 时 间 段 


@Override 
public void execute (Tuple tuple, 
BasicOutputCollector outputCollector) { 
if (isTickTuple (tuple)) { 
emitHeatmap (outputCollector).,; 
} else 1 
Long timeInterval = tuple.getLongByField("time-interval"),; 
LatLng geocode = (LatLng) tuple.getValueByField('"geocode")., 


List<LatLng> checkins = getCheckinsForIinterval (timeInterval);} 
checkins.add (geocode).,， 


那么 现在 ， 我 们 的 拓扑 结构 中 将 包含 以 下 几 个 组 件 : 

.Checkins spout， 用 于 发 射 时 间 和 地 址 。 

. GeocodeLookup bolt， 用 于 发 射 时 间 和 经 纬度 坐标 。 

. TimelIntervalExtractor bolt， 用 于 发 射 时 间 间 隔 段 和 经 纬度 坐标 。 

. HeatMapBuilder bolt， 用 于 发 射 时 间 间 隔 段 和 基于 时 间 分 组 的 坐标 列表 。 

Persistor bolt， 因 为 这 是 拓扑 中 最 后 一 个 bolt 了 ， 所 以 不 执行 发 射 操作 。 

如 图 3.14 所 示 ， 我 们 基于 这 些 调整 更 新 了 拓扑 设计 。 

现在 ， 当 我 们 将 HeatMapBuilder 连 接 至 TimelntervalExtractor 时 ， 就 不 需要 再 做 任何 全 局 分 组 操作 了 。 


现在 我 们 已 经 实现 了 时 间 段 的 分 组 ， 接 下 来 要 确保 的 就 是 让 相同 的 HeatMapBuilder 实 例 可 以 接收 全 部 基于 指定 时 间 段 分 组 
的 值 。 由 于 这 里 需要 担心 的 是 不 同 的 时 间 段 如 何 分 别 进 入 对 应 的 不 同 实例 中 ， 所 以 我 们 可 以 使 用 字段 分 组 来 完成 。 字 段 分 组 是 基 
于 一 个 指定 的 字段 来 实现 对 值 的 分 组 ， 然 后 基于 指定 字段 将 元 组 发 射 到 对 应 的 bolt 实 例 中 。 我 们 能 实现 的 就 是 基于 时 间 段 对 元 组 
也 实现 分 组 ， 然 后 将 它们 友 送 到 不 同 的 HeatMapBuilder 实 例 中 ， 因 此 束 实 现 了 分 段 式 的 并 友 机 制 。 如 图 3.15 所 示 ， 基 于 流 的 分 
组 模式 对 spout 和 bolt 进 行 调整 更 新 。 


让 我 们 再 看 看 HeatmapTopologyBuilder 代 码 中 需要 添加 的 部 分 ， 用 于 和 新 的 TimelntervalExtractor 协 同 ， 实 现 对 整个 流 
的 分 组 化 传输 改造 ， 见 代码 清单 3.13。 


如 代码 清单 3.13 所 示 ， 我 们 已 经 完全 移 除 了 全 局 分 组 ， 使 用 了 一 系列 的 随机 分 组 和 一 个 简单 的 字段 分 组 来 实现 基于 时 间 分 段 
做 处 理 。 
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图 3.14 基于 TimelIntervalBExtractot 更 新 的 拓扑 结构 
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图 3.15 ”基于 流 的 分 组 机 制 更 新 的 拓扑 


程序 清单 3-13 ”需要 新 加 到 HeatmapTopologyBuilder.java 上 的 bolt 


public class HeatmapTopologyBuilder { 
BuslLLe Stormnmooloog TlLalty 
TopologyBuilder builder = new TopologyBuilder () ; 


builder.setSpout ("checkins", new Checkins(), 4); 

builder.setBolt ("geocode-lookup", new GeocodeLookup(), 8) 
.SetNumTasks (64) 

.ShuffleGrouping ("checkins").,， 
.SetBolt("time-interval-extractor", new TimeIntervalExtractor()) 


新 的 bolt 将 放 在 
GeocodeLookup 和 
HeatMapBuililder i a 


之 间 ， 基 于 随机 分 组 > .ShuffleGrouping("geocode-lookup" ); 


与 GeocodeLookup builder.setBolt("heatmap-builder", new HeatMapBuilder()) 

绑 定 起 来 ， 因 为 元 组 .fieldsGrouping ("time-interval-extractor", < 

的 随机 分 派 在 这 里 是 new Fields("time-interval")); HeatMapBul laoer 

可 以 接受 的 builder.setBolt ("persistor", new Persistor () ) 现在 可 以 接受 来 自 新 
.ShuffleGrouping ("heatmap-builder"); bolt 的 元 组 了 了， 我们 


将 其 修改 力 宝 段 分 4 
return builder.createTopology ( ) ; 将 其 修改 为 字 投 分 组 ， 
} 以 便 在 上 面 实现 并 行 性 


全 局 分 组 


我 们 仅 修 改 了 很 小 一 部 分 ， 用 字段 分 组 来 替换 了 全 局 分 组 ， 就 实现 了 对 bolt 的 能 力 扩 展 ， 那 么 什么 情况 下 ， 以 及 什么 样 的 现 
实 场景 ， 才 适合 使 用 全 局 分 组 呢 ? 千 万 不 要 小 看 全 局 分 组 ， 实 际 上 如 果 在 合适 的 地 方 使 用 它 ， 它 将 发 挥 强 大 的 特性 。 


在 这 个 案例 中 ， 我 们 在 实现 聚合 (aggregation) (将 经 纬度 坐标 数据 基于 时 间 段 分 组 ) 的 时 候选 择 了 使 用 全 局 分 组 ， 而 在 这 
种 聚合 场景 中 ， 我 们 面 对 的 是 处 理 一 个 不 断 增 大 的 数据 集 ， 所 以 无 法 在 真正 意义 上 实现 聚合 。 但 如 果 在 后 期 再 使 用 全 局 分 组 实现 


风 
聚合 ， 那 它 面 对 的 其 实 是 更 小 的 元 组 流 ， 而 在 这 种 数据 规模 下 ， 就 非常 适合 基于 需求 进行 预 聚合 (preaggregation) 。 


如 果 你 需要 查看 全 部 流 中 的 元 组 ， 那 么 全 局 分 组 就 更 有 用 了 。 你 要 做 的 就 是 先 基于 某 种 规则 〈 随 机 分 组 或 字段 分 组 ) 对 数据 
执行 聚合 ， 然 后 对 聚合 进行 全 局 分 组 ， 从 而 获得 一 个 完整 的 元 组 视图 : 


bulilder.setBolt ("aggregation-bolt", new AggregationBolt(), 10) 
.ShuftftleGrouping ("previous-bolt").; 

builder.setBolt ("world-view-bolt", new WorldViewBolt()) 
.globalGrouping ("aggregation-bolt").; 


在 这 个 案例 中 ，AgsregationBolt 就 实现 了 扩展 ， 并 且 还 能 聚焦 于 更 小 的 数据 集 处 理 。 而 WorldViewBolt 就 基于 来 自 
AggregationBolt 发 送 过 来 的 聚合 元 组 ， 通 过 全 局 分 组 实现 了 对 整体 流 的 展示 。 我 们 不 需要 对 WotldViewBolt 实 现 扩 展 ， 因 为 它 的 目 
标 对 象 是 个 小 规模 的 数据 集 。 

对 TimelntervalExtractor 实 现 并 行 性 其 实 很 简单 ， 首 先 ， 我 们 给 它 设置 一 个 和 Checkins spout 相 同 的 并 上 友 数 ， 这 样 融和 
GeocodeLookup bolt 一 样 ， 不 需要 在 外 部 服务 上 出 现 等 待 的 情况 了 ， 代 码 如 下 : 


builder.setBolt ("time-interval-extractor", new TimeIntervalExtractor(), 4) 
.ShuffleGrouping ("geocode-lookup").,， 


接 下 来 ， 我 们 在 拓扑 上 清除 挥 一 些 阻 塞 点 ， 代 码 如 下 : 


builder.setBolt ("heatmap-builder", new HeatMapBuilder(), 4) 
.fijeldsGrouping ("time-interval-extractor", new Fields("time-interval")).; 


最 后 ， 我 们 再 来 看 看 Persistor。 和 GeocodeLookup 类 似 ， 我 们 也 需要 在 其 上 面 实现 扩展 性 ， 能 在 执行 器 上 添加 更 多 的 任 
务 ， 理 由 和 之 前 讨论 在 GeocodeLookup 上 这 么 做 一 样 ， 代 码 如 下 : 


builder.setBolt ("persistor'", new Persistor(), 1) 
. SetNumTasks (4) 
.ShuffleGrouping ("heatmap-builder")., 


我 们 基于 以 上 调整 后 的 并 友 结 果 如 图 3.16 所 示 。 


看 上 去 好 像 我 们 已 经 完成 了 对 整个 拓扑 的 扩展 性 调整 ， 但 真 的 残 完 成 了 吗 ? 目前 ,我 们 已 经 对 拓扑 中 的 每 个 组 件 〈 确 切 地 襄 
应 该 是 每 个 spout 和 bolt) 都 配置 了 并 友 机 制 ， 让 每 个 spout 和 和 bolt 都 具备 了 并 发 特性 ， 但 这 并 不 代表 整个 系统 束 具 备 并 发 性 
了 ， 接 下 来 看 看 原因 。 


3.5.3 ”调整 拓扑 以 解决 数据 流 中 固有 的 瓶颈 


我 们 已 经 对 拓扑 上 的 每 个 组 件 实 现 了 并 上 友 设 置 ， 拓 扑 上 的 每 个 元 组 也 都 具备 了 技术 层面 上 的 分 组 机 制 (分 别 采 取 了 随机 分 
组 、 字 段 分 组 以 及 全 局 分 组 ) ， 但 不 乎 的 是 ， 这 样 的 设置 还 不 具备 并 有 友 局 效 性 。 


尽管 我 们 可 以 对 HeatMapBuilder 做 一 些小 的 调整 ， 来 实现 并 行 性 ， 但 我 们 却 忽 略 了 流 数 据 本 身 对 并 行 性 的 影响 。 我 们 将 流 
入 的 数据 按照 15 秒 进行 了 分 段 ， 每 个 分 段 其 实 束 作为 一 个 元 组 ， 而 这 也 J 下 恰恰 是 问题 的 核心 。 对 于 15 秒 的 窗口 期 ， 所 有 流入 的 
元 组 效 据 都 会 汇聚 到 一 个 HeatMapBuilder bolt 实 例 上 ， 当 然 这 里 可 以 通过 对 HeatMapBuilder 的 优化 实现 扩 术 上 的 并 行 性 ， 但 
从 实际 性 能 上 讲 这 并 不 具备 有 效 性 。 流 入 拓扑 的 数据 本 身 其 实 可 能 缠 合 一 些 本 质 上 的 缺陷 ， 导 致 无 法 在 扩展 上 找到 着 力 点 。 所 以 
我 们 需要 养 成 质疑 的 习惯 ， 先 去 了 解 沉 入 你 拓扑 结构 的 数据 本 身 。 


那么 应 该 如 何 实现 真正 的 并 上 友 呢 ”基于 时 间 来 分 段 的 做 法 是 没有 问题 的 ， 因 为 这 是 基于 热力 图 的 创建 机 制 而 来 。 我 们 要 做 的 
是 在 时 间 分 段 的 层面 上 ， 再 做 进一步 的 分 组 ， 以 便 改 善 基于 时 间 段 和 城市 数据 来 构建 热力 图 的 上 层 解决 方案 。 当 我 们 可 以 对 城市 
进行 分 组 时 ， 那 么 就 能 将 基于 给 定时 间 段 的 数据 ， 依 次 分 配 至 不 同 区 域 的 HeatMapBuilder 实 例 上 。 为 了 实现 这 个 层面 上 的 分 
组 ， 我 们 首先 需要 在 GeocodeLookup 的 输出 元 组 上 ， 新 增 一 个 city 的 字段 ， 如 代码 清单 3.14 所 示 。 
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[time="9:00 PM",address="287 Hudson St"] 


基于 8 个 执行 Geocode 
和 64 个 任务 运行 Lookup 


[time="9:00 PM",geocode="40.72612,-74.001396"] 
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[time-interval="9:00:00 PM to 9:00:15 PM", 
geocode="40.72612,-74.001396"] 
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[time-interval="9:00:00 PM to 9:00:15 PM", 
hotzones=List((40.719908,-73.987277),， 
(40.72612,-74.001396),， 
(40.719908,-73.987277))] 
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基于 1 个 执行 大 
和 4 个 任务 运行 


图 3.16 “对 我 们 拓扑 上 的 每 个 组 件 都 配置 并 行 性 


程序 清单 3-14 ”在 GeocodeLookup.java 的 输出 元 组 上 新 增 city 字 段 


public class GeocodeLookup extends BaseBasicBolt { 
private Geocoder geocoder.; 


QOverride 


public void declareOutputFields (OutputFieldsDeclarer fieldsDeclarer) { 


fieldsDeclarer.declare(new Fields ("time", "geocode", City ) ) ; 


} 


z 在 这 个 bolt 
ae prepare (Map config i 
增加 city 作为 

TopologyContext context) { 一 个 额外 的 字段 

geocoder = new Geocoder () ; J Ue 


} 


QOverride 
public void execute (Tuple tuple, 
BasicOutoutCollector outoutCol Lector} { 
String address = tuple.getStringByField("address"); 
Long time = tuple.getLongByField("time"); 


GeocoderRequest request = new GeocoderRequestBuilder() 
.SetAddress (address,) 
.SetLanguage ("en") 
.getGeocoderRequest ( ) ; 
GeocodeResponse response = geocoder.geocode (request); 
GeocoderStatus status = response.getStatus(); 从 已 有 的 地 
1If (GeocoderStatus.OK.equals(status)) { 理 数 据 中 提取 
GeocoderResult firstResult = response.getResults() .get (0).; 城市 的 名 称 
LatLng latLng = firstResult .getGeometry() .getLocation(),; 
String city = extractCity(firstResult); < 
outputCollector.emit (new Values (time，1atLnog，ecCity) ) :; 


} 


private String extractCity(GeocoderResult result) { 
for (GeocoderAddressComponent component : result.getAddressComponents()) 


{ 


if (component .getTypes().contains("locality")) 
return component .getLongName () ; 


} 


return ; 


那么 现在 GeocodeLookup 将 在 输出 元 组 中 包含 一 个 city 字 段 ， 我 们 接 下 来 需要 更 新 TimelntervalExtractor 部 分 代码 ， 实 现 
对 这 个 数据 的 读 取 以 及 友 射 ， 如 代码 清单 3.15 所 示 。 


程序 清单 3-15 ”将 city 字 段 传 入 TimelntervalExtractor.java 


public class TimeIntervalExtractor extends BaseBasicBolt { 
QOverride 
public void declareOutputFields (OutputFieldsDeclarer declarer) { 
declarer.declare(new Fields('"'time-interval", "geocode", "city")); 
} 
QOverride 
public void execute (Tuple tuple, 
BasicOutputCollector outputCollector) { 
Long time = tuple.getLongByField("time").; 
LatLng geocode = (LatLng) tuple.getValueByField("geocode"),， 
String city = tuple.getStringByField("city" ); 


Long timeInterval = time / (15 * 1000); 


outputCollector.emit(new Values(timeInterval, geocode, city)); 


最 后 ， 我 们 还 需要 更 新 HeatmapTopologyBuilder， 使 得 TimelntervalExtractor 和 HeatMap-Builder 之 间 的 数据 ， 在 字段 
上 都 能 基于 时 间 段 和 城市 维度 执行 分 组 ， 如 代码 清单 3.16 所 示 。 


程序 清单 3-16 ”在 HeatmapTopologyBuilder.java 上 增加 二 级 群 组 


public class HeatmapTopologyBuilder { 
public StormTopology build() { 
TopologyBuilder builder = new TopologyBuilder () ; 


builder.setSpout ("checkins", new Checkins(), 4); 
builder.setBolt ("geocode-lookup", new GeocodeLookup(), 8) 
.SetNumTasks (64) 
.ShuffleGrouping ("checkins"); 
builder.setBolt("time-interval-extractor", new TimeIntervalExtractor(), 4) 
.ShuffleGrouping("geocode-lookup" ); 
builder.setBolt("heatmap-builder'", new HeatMapBuilder(), 4) 
.fieldsGrouping("time-interval-extractor", 二 级 群 组 可 以 提升 
new Fields("time-interval", "city")); <HHeatmapBuilder 
builder.setBolt ("persistor", new Persistor(), 1) 的 并 行 性 性 能 
.SetNumTasks (4) 
.ShuffleGrouping ("heatmap-builder").， 


return builder.createTopology ( ) ; 


那么 现在 我 们 完成 的 拓扑 将 不 仅仅 具备 扩 术 层面 上 的 并 行 性 ， 还 具备 了 可 实施 的 有 效 性 。 经 过 一 系列 的 改动 ， 更 新 之 后 的 折 
扑 结构 和 元 组 传输 路 径 如 图 3.17 所 示 。 


我 们 已 经 基本 上 履 兰 了 Storm 拓扑 结构 上 并 上 友 机 制 的 基础 天 识 ， 这 里 为 了 更 好 地 理解 拓扑 上 每 个 组 件 的 工作 原理 ， 构 建 出 了 
一 个 假想 案例 。 现 实 中 对 于 拓扑 的 优化 还 有 很 多 工作 需要 做 ， 包 括 调 书 额外 的 并 友 参 数 ， 以 及 如 何 基 于 实际 观测 指标 对 系统 进行 
优化 。 在 本 书 稍 后 合适 的 时 候 ， 我 们 会 细 讲 这 些 点 。 在 本 章 中 ， 我 们 需要 做 的 融 是 建立 一 个 能 构建 storm 拓 扑 结构 的 基础 知识 体 
系 ， 如 果 要 具备 真正 意义 上 对 拓扑 做 扩展 优化 的 能 力 ， 还 需要 更 深 地 理解 拓扑 中 的 每 一 个 组 件 ， 以 及 它们 的 设计 原理 。 


3.6 ”拓扑 的 设计 沁 式 


让 我 们 复 盘 一 下 如 何 设计 热力 图 拓扑 的 : 
1. 检 查 我 们 的 数据 流 ， 确 定 初 期 的 输入 元 组 形态 ， 然 后 基于 需要 实现 的 目标 ， 确 定 输出 元 组 的 形 仿 ( 即 最 终 目 标 元 组 ) 


2. 创 建 一 系列 的 处 理 机 制 (如 bolt) ， 将 输入 元 组 传递 至 输出 元 组 。 
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图 3.17 GeocodeLookup 将 发 射 包含 city 字 上 段 的 元 组 ，TimelntervalExtractor 也 将 在 其 发 射出 去 的 元 组 中 包含 该 字段 
3. 再 一 次 检查 每 个 处 理 结 点 ， 基 于 我 们 对 处 理 机 行为 的 理解 ， (通过 调整 执行 器 和 任务 的 方式 ) 不 断 进 行军 试 性 调整 ， 从 而 


建立 扩展 机 制 。 


4. 当 无 法 再 继续 扩展 的 时 候 ， 我 们 回顾 现 有 的 设计 ， 找 到 是 否 可 以 对 某 些 组 件 重 新 设计 以 便 优化 整体 的 扩展 性 。 


这 是 一 种 很 好 的 拓扑 设计 流程 ， 但 大 部 分 人 在 设计 拓扑 时 都 会 遇 到 扩展 方面 的 问题 ， 主 要 是 因为 在 头脑 中 都 还 没有 把 扩展 设 
计 机 制 考 虑 清楚 。 如 果 我 们 不 提前 考虑 这 些 问 题 ， 而 是 将 扩展 的 工作 置 后 ， 那 么 后 面 面 临 的 设计 重 构 工作 量 会 相当 的 巨大 。 


过 昱 优化 是 万 恶 之 源 。 


Donald Kunth 


作为 工程 师 ， 我 们 都 喜欢 引用 Donald Knuth 的 这 人 句 话 ， 大 部 分 情况 下 也 确实 如 此 。 可 是 为 了 完整 理解 Knuth 博 士 为 什么 这 
么 讽 ， 我 们 先 看 看 引用 这 段 语 的 全 文 (作为 工程 师 我 们 干 万 不 要 断章取义 ) 。 


在 大 约 97% 的 情况 下 ， 你 都 应 该 忘掉 那些 影响 较 小 的 效率 问题 ， 过 早 的 优化 是 万 恶 之 源 。 


你 不 应 该 去 尝试 实现 一 些 效果 不 明显 的 性 能 优化 ， 你 处 理 的 可 是 大 数据 啊 ， 所 以 你 考虑 的 每 一 个 优化 点 都 很 重要 。 在 大 数据 
处 理 中 ， 一 个 小 的 性 能 阻塞 丈 可 能 导致 你 无 法 实现 优化 的 SLA。 如 果 你 是 在 设计 一 辆 赛车 ， 你 可 能 在 第 一 天 束 需 要 去 思考 性 能 问 
题 ， 因 为 你 不 可 能 到 后 面 去 友 现 性 能 问题 ， 然 后 再 重新 设计 发 动机 引擎 。 所 以 第 三 步 和 第 四 步 对 于 折 扑 设计 很 重要 。 


这 里 唯一 需要 注意 的 是 对 问题 领域 的 知识 缺失 ， 如 果 你 缺乏 该 问题 所 在 领域 的 知识 ， 那 么 如 果 过 早 开 始 尝 试 扩 展 的 话 ， 一 定 
会 在 这 个 问题 上 受挫 。 当 我 们 提 到 问题 所 在 的 知识 领域 时 ， 指 的 是 流入 系统 数据 本 身 的 特性 ， 以 及 数据 处 理 环节 中 国有 的 阻塞 
操 。 所 以 在 真正 了 解 这 些 问题 之 前 ， 最 好 是 不 要 尝试 去 做 任何 扩展 优化 。 类 似 的 ， 束 和 像 是 你 在 建立 一 个 专业 系统 ， 当 你 真正 了 解 
了 相关 领域 知识 ， 束 很 轻松 地 知道 从 何 处 着 于 了。 


3.6.1 分 解 为 功能 组 件 的 设计 万 法 


让 我 们 来 看 看 如 何在 拓扑 中 将 处 理 过 程 分 解 ， 效 果 如 图 3.18 所 示 。 


我 们 通过 为 每 个 bolt 设 置 一 个 指定 任务 的 方式 ， 将 拓扑 分 解 为 一 个 个 独立 的 bolt， 这 也 符合 单一 责任 (principle of single 
responsibility) 的 设计 原则 。 我 们 将 一 个 特定 的 任务 封 闪 成 一 个 bolt， 这 样 殊 能 保证 每 个 bolt 都 有 一 个 独立 的 责任 ， 而 且 不 为 别 
的 工作 负责 ， 那 么 简单 地 说 ， 每 个 bolt 都 成 为 了 一 个 功能 模块 。 


这 样 设计 的 意义 很 大 ， 因 为 这 样 可 以 让 每 个 bolt 都 具备 单一 职责 ， 在 设计 的 时 候 可 以 更 简洁 更 聚焦 ， 同 时 也 更 容易 对 独立 的 
bolt 执 行 扩展 优化 ， 而 不 需要 担心 会 影响 拓扑 上 的 其 他 结构 ， 将 并 友 优 化 的 操作 仅 限 在 该 独立 组 件 的 层面 上 。 所 以 这 时 无 论 是 扩 
展 或 是 在 解决 问题 ， 你 都 可 以 将 精力 和 时 间 聚 焦 在 一 个 独立 的 组 件 上 ， 这 样 的 设计 方式 可 以 让 你 的 工作 更 有 效率 。 


3.6.2 ”基于 重 分 配 来 分 解 组 件 的 设计 方法 


在 将 问题 分 解 的 过 程 中 ， 这 种 方法 可 能 略 有 不 同 ， 对 比 之 前 讨论 的 如 何 将 问题 分 解 为 功能 组 件 的 方式 ， 其 在 性 能 优化 上 会 有 
一 些 比 较 显 闭 的 提升 。 因 为 这 里 不 是 将 问题 分 解 为 简单 可 行 的 功能 组 件 ， 我 们 思考 的 是 不 同 组 件 乙 间 的 分 割 点 〈 或 叫 连接 点 ) 。 
换 句 话说 ， 我 们 面 对 的 是 不 同 bolt 之 间 的 连接 方式 。 在 Storm 中 ， 不 同 的 流 分 组 其 实 束 是 不 同 的 bolt 标 记 (marker) (因为 分 组 
定义 了 输出 元 组 的 路 径 ， 如 何 从 一 个 bolt 分 友人 至 下 一 个 ) 。 
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(40.719908,-73.987277)) 
| 


在 这 些 问题 上 ,， 流 经 


拓扑 的 元 组 流 将 被 重新 分 配 ， 在 这 个 重新 分 配 的 流 中 ， 元 组 的 分 友 机 制 也 被 改变 了 。 事 实 上 ， 这 也 丈 是 
基于 功能 的 沅 分 组 方式 。 如 图 3.19 所 示 ， 演 示 


图 3.18 ”将 热力 图 拓扑 设计 为 一 系列 的 功能 组 件 


， 7) 时 二 


了 我 们 如 何 基 于 结 点 重 分 配 实 现 的 设计 。 
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4 -、 将 我 们 的 拓扑 设 
> 计 看 成 是 一 系列 分 


布 在 不 同 组 件 之 间 
的 独立 结 点 

[time-interval="9:00:00 PM to 9:00:15 PM", 

geocode="40.72612,-74.001396",， 


字段 分 组 名 
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/ 
[time-interval="9:00:00 PM to 9:00:15 PM", ’ 
hotzones=List((40.719908,-73.987277), 随机 分 组 
(40.72612,-74.001396),， 
(40.719908,-73.987277))] 
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NO 


图 3.19 ”基于 结 点 重 分 配 的 热力 图 拓扑 
基于 这 


种 拓扑 设计 方式 ， 我 们 需要 在 拓扑 中 尽 可 能 减少 重 分 配 的 次 数 ， 因 为 每 执行 一 次 重 分 配 ， 元 组 都 会 基于 网 络 从 一 个 
bolt 被 友 送 至 另 一 个 ， 而 这 种 操作 的 成 本 是 很 高 的 ， 原 因 有 以 下 几 点 : 


布 式 集群 来 运行 的 ， 当 发 射 元 组 时 ， 它 们 可 能 会 跨 集 群 结 点 的 网 络 来 分 发 和 传递 ， 这 势必 会 增加 网 络 开销 。 


在 每 次 发 射 中 ， 元 组 都 需要 执行 序列 化 ， 并 执行 反 序 列 化 来 确定 接收 点 的 位 置 。 


分 配 的 次 数 越 多 ， 那 么 资源 的 需求 量 也 越 大 ， 使 得 每 个 bolt 将 需要 更 多 的 执行 器 和 任务 来 处 理 输入 的 元 组 。 
OO, 


我 们 将 稍 后 再 讨论 Stotm 的 集群 技术 ， 以 及 在 下 一 章 中 讨论 内 部 对 bolt 的 支持 机 制 。 


对 于 我 们 的 拓扑 ， 怎 么 做 才能 尽 可 能 减少 分 配 次 数 呢 ? 首 先 我 们 需要 将 一 部 分 bolt 合 并 起 来 ， 为 了 实现 这 个 效果 ， 我 们 必须 
先 搞 清 楚 每 个 功能 组 件 的 区 别 ， 然 后 匹配 至 对 应 的 bolt (因为 资源 始终 来 自 于 一 个 bolt) : 


* Checkins (spout) : 4 个 执行 器 ( 读 一 个 文件 ) 。 

* GeocodeLookup: 8 个 执行 器 ，64 个 任务 (点 击 外 部 服务 ) 。 
.TimeIntetvalExttactot: 4 个 执行 器 (内 部 计算 ， 完 成 数据 转换 ) 。 
:HeatMapBuildef: 4 个 执行 器 〈 内 部 计算 ， 完 成 聚合 元 组 ) 。 

* Persistor: 一 个 执行 器 ，4 个 任务 (将 数据 写 到 一 个 数据 存储 中 ) 。 
接 下 来 分 析 一 下 : 


* GeocodeLookup 和 和 Persistor 将 和 一 个 外 部 实体 产生 交互 ， 而 与 外 部 实体 交互 时 花费 的 等 待 时 间 将 决定 执行 器 和 任务 如 何 分 
配给 这 两 个 bolt。 我 们 不 大 可 能 迫使 这 两 个 bolt 的 行为 相互 匹配 兼容 ， 但 也 许 有 其 他 的 方式 可 以 让 两 者 之 间 的 资源 更 相互 匹配 。 


* HeatMapBuildet 基 于 时 间 段 和 城市 对 经 纬度 数据 执行 聚合 处 理 ， 与 其 他 处 理 结 点 相 比 ， 它 的 工作 机 制 很 独特 ， 因 为 它 需 
在 内 存 中 执行 数据 缓存 ， 时 间 段 在 没有 执行 完 之 前 也 是 不 会 跳 到 下 一 个 阶段 的 ， 因 此 需要 相当 慎重 地 考虑 如 何 把 它 与 其 他 组 件 相 


疆 公 


一 它 患 0 


.Checkins 是 一 个 spout， 正 第 情况 下 你 都 不 会 去 修改 它 ， 特 别 是 要 求 它 去 包含 一 系列 处 理 和 计算 操作 。 而 同时 ， 为 spout 负 
责 的 是 追踪 发 射出 去 的 数据 ， 很 少 参 与 其 中 的 计算 ， 所 以 更 多 参与 的 是 元 组 的 初始 化 操作 (例如 解析 、 提 取 和 和 转换) ， 做 一 个 


spout 该 做 的 事情 。 


. 最 后 就 是 TimelntervalExtractor， 这 个 比较 简单 ， 它 唯一 要 做 的 事情 就 是 将 “时 间 ”属性 转换 成 “时 间 段 ”属性 。 我 们 把 它 
从 HeatMapBuilder 中 提取 出 来 ， 是 因为 需要 在 HeatMapBuildet 之 前 就 确定 时 间 段 ， 使 得 基于 时 间 段 可 以 实现 正确 分 组 。 这 也 使 得 我 


们 实现 了 对 HeatMapBuilder bolt 的 扩展 。 而 理论 上 TimelntervalExtractor 所 做 的 工作 ， 可 以 放 在 HeatMapBuildet 之 前 的 任意 位 置 : 


“ 如 果 我 们 将 GeocodeLookup 与 TimelIntervalExtractor 合 并 ， 那 么 就 需要 为 GeocodelLookup 匹 配 相 应 的 资源 。 尺 管 它们 对 资源 
的 配置 不 一 样 ， 不 过 因为 TimelntervalExtractot 配 置 的 简洁 性 ， 能 够 适应 分 配给 GeocodeLookup 的 资源 。 在 一 种 纯粹 的 场景 中 ， 它 
们 互相 匹配 ， 都 能 实现 数据 的 处 理 和 转换 (从 时 间 到 时 间 段 ， 以 及 经 纬度 坐标 ) 。 只 要 其 中 一 个 足够 简洁 ， 由 另外 一 个 基于 网 络 


开销 来 使 用 外 部 服务 。 


:我们 可 以 把 TimeIntetvalExtractot 和 Checkins spout 合 并 在 一 起 吗 ? 它们 的 资源 配置 完全 一 样 。 同 时 ， 将“ 时间” 转化 为 “时 
间 段 ”是 少数 几 种 可 以 把 bolt 放 到 spout 中 去 的 操作 。 对 于 合并 来 说 ， 答 案 是 肯定 可 以 的 。 这 引出 了 能 否 将 GeocodeLookup 与 
Checkins spout 合 并 到 一 起 的 问题 ， 虽 然 GeocodeLookup 也 是 一 个 数据 转换 器 ， 由 于 它 依赖 于 外 部 服务 ， 所 以 是 一 个 很 重 的 计算 处 


理 器 ， 也 就 是 说 ， 它 并 不 是 适合 放 到 spout 中 去 操作 。 


那 我 们 是 应 该 将 TimelntervalExtractor 与 GeocodeLookup 合 并 起 来 ， 还 是 将 它 与 Checkins 合 并 起 来 呢 ? 从 效率 的 角度 上 
看 ， 两 种 方式 都 是 合理 的 ， 而 且 也 是 正确 的 。 我 们 更 倾向 将 spout 合 并 起 来 ， 因 为 从 经 验 上 讲 ， 应 该 尽 可 能 地 去 掉 外 部 服务 与 简 
单 任务 之 间 的 交互 ， 例 如 TimelntervalExtractor。 接 下 来 将 解释 如 何在 拓扑 中 做 相应 修改 ， 以 便 实现 合并 。 


你 可 能 会 好 奇 在 这 个 案例 中 ， 为 什么 我 们 没有 把 HeatMapBuilder 和 Persistor 合 并 起 来 ? 因为 HeatMapBuilder 会 定期 发 出 
聚合 后 的 经 纬度 坐标 数据 (前 提 是 收 到 心跳 元 组 ) ， 它 可 以 改写 为 用 于 写 入 数据 至 数据库 ( 蔡 代 Persistor 的 工作 ) 。 这 看 上 去 
狗 似 合情合理 ， 它 只 是 改变 了 合并 后 的 bolt 工 作 方 式 ， 但 结合 后 的 HeatMapBuilder/Persistor bolt 却 在 接收 两 种 类 型 元 组 时 表 
现 出 截然 不 同 的 效果 。 流 中 常规 的 元 组 一 般 处 于 较 低 的 延迟 率 ， 而 基于 心 忠 的 元 组 在 执行 数据 库 写 入 动作 时 ， 一 般 会 出 现 较 高 的 


延迟 率 。 如 果 我 们 对 其 执行 监控 ， 将 这 些 合并 后 的 bolt 性 能 数据 做 个 分 析 ， 融 会 友 现 很 难 去 区 分 哪些 是 可 观测 的 指标 ， 这 也 会 导 
致 企 后 续 优 化 的 时 候 很 难 找到 看 手 点 ， 所 以 非 单 不 推 尝 制造 这 类 隐形 的 不 合理 特性 。 


根据 流 的 重 分 配 特 性 ， 它 在 设计 拓扑 的 时 候 可 以 为 你 提供 最 遍 的 资源 利用 率 ， 用 于 构建 高 性 能 低 延 迟 率 的 拓扑 。 


3.6.3 ”最 简单 的 功能 组 件 与 最 少 的 重 分 配 次 数 
我 们 已 经 讨论 了 两 种 拓扑 设计 的 方法 ， 那 么 哪 一 种 更 合适 呢 ? 使 用 最 少 次 数 的 重 分 配 可 以 提供 最 佳 的 性 能 ， 因 为 经 过 仔细 地 
挑选 ， 可 以 将 选 定 的 处 理 计算 合并 到 一 个 bolt 中 。 


通 单 情况 下 ， 这 里 不 需要 做 二 选 一 的 决定 ， 因 为 作为 Storm 的 急 学 者 ， 你 都 应 该 从 设计 最 简单 的 功能 组 件 开 始 。 这 样 做 的 好 
处 是 允许 你 更 轻松 地 去 推测 各 种 处 理 机 制 。 另 外 ， 如 果 你 需要 面 对 十 分 复杂 的 多 任务 组 件 ， 再 加 上 设计 上 的 失误 ， 那 残 很 难 将 它 
们 拆散 至 更 精简 且 正 确 的 组 件 了 。 


所 以 你 忌 是 可 以 从 最 简单 的 功能 开始 ， 然 后 一 步 步 地 将 不 同 的 操作 合并 ， 尝 试 去 减少 重 分 配 的 次 数 。 其 他 方法 就 比 这 样 做 复 
杂 多 了 ， 因 为 你 需要 更 丰富 的 Storm 使 用 和 拓扑 设计 开 友 经 验 ， 如 果 你 不 具备 这 样 的 能 力 ， 那 么 束 不 建议 在 最 开始 束 基 于 重 分 本 
的 方式 开展 工作 。 


3.7 ”小结 


` 怎么 在 串 行 上 运行 一 个 拓扑 ， 然 后 基于 该 拓扑 引入 并 发 机 制 。 
:如何 发 现 你 的 设计 问题 ， 并 在 设计 中 去 修正 该 问题 。 

将 注意 力 放 在 流 数 据 导 入 拓扑 时 ， 其 局 限 性 所 带 来 的 问题 严重 性 。 
. 两 种 不 同 的 拓扑 设计 方法 ， 以 及 二 者 之 间 微 妙 的 平衡 。 


这 些 设计 指导 都 可 以 作为 构建 Storm 拓扑 的 最 佳 实践 参考 ， 稍 后 本 书 中 ， 你 将 看 到 为 什么 提出 这 些 设 计 决 策 ， 以 及 在 Storm 
上 性 能 调 优 时 能 给 到 的 支撑 。 


第 4 章 ”设计 健壮 的 拓扑 


本 章 要 点 : 


- 消息 处 理 中 的 保障 


“ 同 允 语义 


到 目前 为 止 , 我 们 已 经 定义 了 很 多 Storm 的 核心 概念 。 烷 接着 ， 我 们 分 别 实现 了 两 个 不 同 的 拓扑 ， 并 成 功 运 行 在 本 地 集群 
上 。 本 草 类 似 ， 我 们 将 基于 另 一 个 场景 设计 并 实现 一 个 新 的 拓扑 ， 但 其 中 要 解决 的 问题 对 于 保证 元 组 的 处 理 和 容错 维护 都 有 更 严 
格 的 要 求 。 为 了 满足 这 些 要 求 ， 我 们 引入 了 关于 可 靠 性 和 故障 相关 处 理 的 新 概念 。 你 将 会 了 解 Storm 提 供 的 处 理 故 障 的 工具 ， 同 
时 我 们 会 深入 介绍 处 理 数据 时 可 以 使 用 的 不 同 保障 机 制 。 熟 悉 了 这 些 知识 ， 我 们 束 可 以 继续 前 行 ， 设 计 和 创建 产品 级 别 的 拓扑 。 


4.1 对 可 靠 性 的 要 求 


在 前 面 的 章节 中 ， 我 们 的 热力 图 应 用 需要 快速 处 理 大 量 基 于 时 间 间 隔 的 数据 集 。 此 外 ， 仪 靠 全 部 数据 中 的 一 部 分 采样 所 能 提 
供给 我 们 的 是 一 个 基于 给 定 地 理 区 域内 的 当前 酒吧 受 欢 迎 程度 的 近似 值 。 如 果 我 们 在 短 时间 内 没有 完成 给 定 元 组 的 处 理 ， 那 么 这 
个 应 用 融 失 去 了 价值 。 热 力图 质 述 的 残 是 当前 最 新 情况 ， 我 们 没有 必要 去 确保 每 条 信息 都 能 被 处 理 ， 只 要 大 部 分 能 锌 处 理 融 足 够 
Ts 


但 是 有 些 领 域 应 用 丈 不 能 接受 数据 不 被 完整 处 理 ， 因 为 每 个 元 组 的 数据 对 于 场景 应 用 都 双关 重要 。 人 在 这 些 场景 下 ,我们 必须 
保证 每 一 个 元 组 都 锌 处理， 所 以 这 里 可 靠 性 比 实时 性 更 重要 。 如 果 我 们 不 得 不 在 30 秒 、10 分 钟 或 者 1 小 时 (或 者 基于 某 个 合理 的 
阅 值 ) 内 不 断 重 试 某 个 元 组 ， 而 且 这 个 元 组 对 于 我 们 的 价值 不 会 因为 重 试 或 随 着 时 间 推 移 而 降低 ， 那 么 这 里 束 需 要 建立 可 靠 性 。 


Storm 提 供 了 保证 每 个 元 组 都 能 被 处 理 的 能 力 ， 我 们 可 以 仰赖 这 种 能 力 去 保证 功能 的 完整 和 准确 执行 。 如 果 站 在 一 个 较 高 的 
角度 回 看 的 话 ，Storm 其 实 提供 的 是 追 踊 哪 些 元 组 成 功 处 理 了 ， 而 哪些 失败 了 ， 并 重 试 失败 直至 成 功 处 理 ， 以 此 来 保障 整体 计算 
的 可 徘 性 。 

文 持 可 靠 性 的 组 成 部 分 

为 了 提供 处 理 的 可 靠 性 ， 需 要 将 Storm 多 个 部 分 组 合 在 一 起 ， 它 们 包括 : 

. 一 个 可 靠 的 数据 源 和 与 之 相应 可 靠 的 spout。 

“ 一 个 锁定 的 元 组 流 。 

“ 一 个 能 够 感知 每 个 元 组 是 否 已 经 完成 处 理 以 及 广播 元 组 处 理 失败 信息 的 拓扑 。 

-一 个 具备 容错 能 力 的 Storm 集 群 茶 础 环境 。 


在 本 章 中 ， 我 们 先 来 看 看 前 三 个 组 件 是 如 何 构建 可 靠 性 保障 的 。 然 后 在 第 ? 章 里 ， 我 们 再 详细 讲解 Storm 的 集群 ， 并 讨论 如 
何 构建 容错 机 制 。 


4.2 ”问题 定义 : 一 个 信用 卡 授权 系统 


当 你 想 用 Storm 解决 实际 问题 时 ， 首 先 要 化 时 间 思 考 一 下 ， 在 数据 处 理 方面 你 的 具体 需求 是 什么 ， 这 也 是 “storm 编 程 思 
想 ” 的 重要 一 部 分 ， 指 导 我 们 如 何 深 入 到 一 个 有 可 靠 性 需求 的 问题 中 去 探索。 


试想 我 们 在 运营 一 个 大 型 的 电子 购物 商城 ， 向 用 户 出 售 并 快递 实体 商品 。 我 们 友 现 ， 网 站 上 绝 大 多 数 YJ 单 都 能 成 功 完成 授权 
结算 ， 只 有 很 小 一 部 分 订单 会 因 失 败 而 取消 。 在 传统 电 商 中 ， 用 户 从 提交 订单 到 文 付 的 过 程 中 ， 需 要 涉及 的 步骤 越 多 ， 沅 失 的 风 
险 就 越 高 。 所 以 我 们 的 业务 也 将 从 用 户 提 交 tJ 单 的 那 一 时 刻 开始 ， 随 时 都 有 可 能 流失 。 如 果 能 在 一 个 独立 的 离线 模式 下 来 执行 账 
单 结算 ， 那 么 可 以 极 大 地 提升 消息 传递 前 的 完整 性 ， 并 有 效 提 升 我 们 的 转化 率 。 我 们 也 希望 这 个 订单 处 理 过 程 具 备 可 扩展 性 ， 能 
够 应 对 购物 节 (类似 于 Amazon) 或 内 购 (类 似 于 Gilt) 等 突 友 性 业务 量 需求 。 


这 是 一 个 有 可 靠 性 需求 的 场景 ， 每 个 订单 都 要 求 必 须 完成 授权 验证 才能 友 货 。 如 果 在 验证 过 程 中 遇 到 了 什么 问题 ， 那 么 应 该 
尽快 重新 尝试 。 忌 之， 我 们 需要 确保 消息 能 被 完整 处 理 。 接 下 来 束 看 看 这 样 的 系统 应 该 是 什么 样 的 ， 其 重 试 特性 是 如 何 实现 的 。 


4.2.1 有 重 试 特性 的 概念 性 解决 万 案 

本 案例 中 的 系统 只 涉及 授权 已 经 下 单 并 且 与 信用 卡 已 关联 的 那些 订单 ， 不 会 处 理 正 在 下 订单 的 用 户 ， 因 为 这 皮 生 在 该 流程 的 
表面 。 

对 系统 上 下 游 的 假设 

分 布 式 系统 是 基于 不 同系 统 之 间 的 交互 来 定义 的 ， 对 于 我 们 的 情况 ， 可 以 做 出 以 下 假设 : 

. 同一 个 订单 仅 会 被 发 送 到 系统 中 一 次 ， 这 是 由 一 个 处 理 客户 下 单 的 上 游 系统 来 保证 的 。 


- 负责 客户 下 单 的 上 游 系 统 会 把 订单 发 送 到 一 个 队列 中 ， 然 后 我 们 的 系统 再 从 队列 中 把 订单 拉 取 出 来 ， 进 行 下 一 步 的 授权 验 


证 6 
:一 个 独立 的 下 游 系 统 会 处 理 这 些 已 确认 的 订单 ， 如 果 信 用 卡 验证 通过 则 使 可 单 生 效 ， 否 则 通知 客户 信用 卡 验证 失败 。 


基于 这 些 假设 ， 我 们 接 下 来 融 开 始 讨论 如 何 设计 这 样 一 个 系统 ， 让 它 既 能 满足 需求 的 定义 ， 又 能 映射 到 我 们 需要 的 Storm 概 
中 。 


吵 


形成 概念 性 的 解决 万 案 


让 我 们 从 订单 在 系统 中 的 流动 路 径 开 始 讲 起 ， 当 需要 验证 一 个 订单 中 的 信用 卡 的 时 候 ， 会 执行 下 面 的 步骤 : 


1. 将 订单 从 队列 中 拉 取 出 来 。 


2. 尝 试 通过 调用 一 个 外 部 信用 卡 验证 授权 服务 ， 来 实现 对 当前 信用 卡 的 验证 。 


3. 如 果 服 务 调用 成 功 ， 则 更 新 数据 库 中 相应 订单 的 状态 。 


4. 如 果 服 务 调用 失败 ， 则 需要 稍 后 重 试 。 


5. 通 知 下 游 的 独立 系统 ， 当 前 订单 已 经 完成 处 理 。 


将 这 些 步骤 整理 出 来 ， 如 图 4.1 所 示 。 


信用 卡 授权 
验证 服务 


符 试 验证 
信用 卡 并 
\ 更 新 订单 状态 


从 队列 中 
拉 取 订单 


包含 订单 当前 
授权 验证 成 功 则 状态 的 数据 库 


更 新 订单 状态 


通知 独立 的 、 
下 游 订 单 
处 理 系统 


图 4.1 电 商 中 信用 卡 授权 流 的 概念 解决 方案 


我 们 有 了 基本 的 数据 流 ， 下 一 步 要 解决 的 问题 定义 就 是 确定 拓扑 中 需要 处 理 的 数据 需求 。 在 明确 这 些 需 求 之 后 ， 我 们 束 可 以 
确定 元 组 中 需要 包含 哪些 数据 了 。 


4.2.2 定义 数据 所 


我 们 既然 已 经 定义 了 数据 流 ， 那 么 接 下 来 束 看 看 数据 流 中 的 数据 点 组 成 。 诞 生 在 数据 流 上 的 数据 ， 痢 将 以 JSON 格 式 的 形 
式 ， 被 系统 从 队列 中 拉 取 出 来 (如 代码 清单 4.1 所 示 ) 。 


程序 清单 4-1 一 个 订单 的 JSON 苑 例 


3 

"customerId":5678, 
"creditCardNumber":1111222233334444,， 
"creditCardExpiration"™n:"012014", 
"creditCardCode":123, 
"chargeAmount":42.23 


系统 将 把 这 个 JSON 转 换 成 Java 对 象 ， 并 在 内 部 处 理 这 些 序列 化 的 Java 对 象 。 定 义 订 单 的 实体 类 代码 如 代码 清单 4.2 所 示 。 


程序 清单 4-2 Order.java 


public class Order implements Serializable { 
private long id; 
private long customerId; 
private long creditCardNumber; 
private String creditCardExpiration; 
private int creditCardCode, 
private double chargeAmount., 


public Order (long id, 
long customerId, 
long creditCardNumber, 
String creditCardExpiration, 
int creditCardCode, 
double chargeAmount) f{ 
this.id = id,; 
this.customerId = customerId.; 
this.creditCardNumber = creditCardNumber:; 
this.creditCardExpiration = creditCardExpiration,; 
this.creditCardCode = creditCardCode,; 
this.chargeAmount = chargeAmount,; 


你 应 该 对 这 种 定义 数据 点 和 组 件 的 方式 不 陌生 了 吧 ， 因 为 这 正 是 我 们 在 第 2 章 和 第 3 章 中 创建 拓扑 时 分 解 问题 的 方法 。 现 
在 ,我 们 需要 沿用 这 种 方式 ， 将 分 解 出 来 的 方案 映射 到 Storm 可 用 组 件 上 ， 用 于 构建 完整 的 拓扑 。 


4.2.3 ”在 Storm 上 实现 带 有 重 试 特性 的 方案 
既然 我 们 已 经 有 了 基本 的 设计 方案 ， 而 且 定 义 了 流 经 系统 的 数据 点 类 型 ， 那 么 就 可 以 将 数据 和 组 件 方案 映射 到 Storm 的 设计 
原 语 中 。 此 时 ， 我 们 的 拓扑 将 包含 三 个 组 件 设计 ， 一 个 spout 和 两 个 bolt: 


- RabbitMQSpout: 我 们 的 spout 将 从 队列 中 消费 消息 ， 这 里 每 个 消息 都 代表 一 个 JSON 格 式 的 订单 ， 并 发 射 一 个 包含 经 过 序列 
化 的 Order 对 人 象 的 元 组 。 从 spout 的 命名 上 可 以 看 出 ， 我 们 将 用 RabbitrMQ 作 为 我 们 的 队列 实施 。 在 本 章 后 续 部 分 ， 将 详细 讨论 为 确 


保 消息 处 理 ， 这 个 spout 的 处 理 细节 。 


. AuthorizeCreditCard: 如 果 信 用 卡 的 授权 验证 通过 ， 那 么 这 个 bolt 会 更 新 订单 状态 为 “准备 发 货 (teady-to-ship ) ”。 如 果 验 
证 失败 ， 那 么 会 更 新 订单 状态 为 “验证 失败 (denied)  。 无 论 状态 是 什么 ， 它 都 会 发 射 一 个 包含 Order 对 象 的 元 组 到 数据 流 中 下 
一 个 bolt 中 o 


. ProcessedOrderNotification: 用 于 通知 另外 一 个 独立 系统 该 订单 已 经 被 处 理 的 bolt。 


除了 spout、bolt 和 元 组 ， 我 们 还 需要 定义 流 的 分 组 策略 ， 来 明确 元 组 在 不 同 组 件 间 的 传递 方式 。 我 们 将 运用 下 面 的 流 分 组 
策略 : 


. 在 RabbitMQSpout 和 Authorize-CreditCatd 之 间 使 用 随机 分 组 策略 。 


. 在 AuthotizeCteditCatd 和 PtocessedOtdetNotification 之 间 使 用 随机 分 组 策略 


在 第 2 章 中 ， 我 们 用 了 字段 分 组 来 确保 相同 CitHub 开 妈 者 的 提交 数据 能 被 路 由 到 同一 个 bolt 实 例 。 在 第 3 章 中 ， 我 们 同样 用 
字段 分 组 来 对 经 纬度 坐标 分 组 ， 使 得 在 相同 时 间 间 隔 内 的 坐标 能 被 路 由 到 同一 个 bolt 实 例 。 这 里 我 们 没有 这 样 的 需求 ， 对 于 每 个 


元 组 ， 由 任 一 bolt 实 例 都 可 以 处 理 ， 所 以 随机 分 组 融 够 了 。 


刚刚 这 论 的 所 有 设计 都 最 终 映 射 至 Storm 结构 中 了 ， 如 图 4.2 所 示 。 


人- 于 :于 


"ustomerld"”"::5678, 
"oreditcCardNumber"™:1111222233334444,， 


队列 中 "creditCardExpiration" -noN1A" | 


本 "creditcardCode":123, 
JSON 格式 


"cnargeAmount":42.23 


的 订单 数据 } 
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图 4.2 ” 电 商 信用 卡 授权 验证 系统 的 Stotm 实 现 


既然 拓扑 设计 已 经 有 了 欠 形 ， 那 么 在 讨论 保障 消息 处 理 机 制 及 其 所 需 条 件 之 前 ， 我 们 先 来 看 两 个 bolt 的 源码 ， 稍 后 再 讨论 
spout 的 源码 实现 。 


4.3 bolt 基 础 实现 


这 一 节 里 我 们 将 讨论 AuthorizeCreditCard 和 ProcessedOrderNotification 这 两 个 bolt 的 代码 实现 ， 了 解 每 个 bolt 所 做 的 工 
作 ， 将 为 你 在 4.4 节 中 学 习 保 障 消息 处 理 机 制 提供 帮助 和 铺 热 。 


我 们 把 RabbitMQSpout 的 实现 放 在 讨论 保障 消息 处 理 之 后 再 讲 ， 这 是 因为 spout 中 大 量 代码 是 用 来 重 试 失败 元 组 的 ， 所 以 
先 对 保障 消息 处 理 有 了 充分 理解 之 后 ， 才 有 助 于 你 理解 spout 中 的 相关 代码 。 


让 我 们 先 来 看 看 拓扑 中 第 一 个 bolt: AuthorizeCreditCard。 


4.3.1 AuthorizeCreditCard 的 实现 


AuthorizeCreditCard bolt 将 接收 来 自 RabbitMQSpout 的 Order 对 象 ， 然 后 尝试 通过 调用 一 个 外 部 服务 来 验证 订单 中 信用 
卡 的 授权 信息 ， 并 将 验证 结果 更 新 至 数据 库 中 的 订单 状态 。 紧 接着 ， 这 个 bolt 会 对 外 友 射 一 个 包含 该 Order 对 象 信息 的 元 组 。 我 
们 正在 讨论 的 拓扑 区 域 如 图 4.3 所 示 。 


这 个 bolt 的 代码 如 代码 清单 4.3 所 示 。 
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图 4.3 ”AuthofizeCteditCatd 的 bolt 接 收 来 自 RabbitMQSpout 发 来 的 元 组 ， 并 且 不 考虑 是 否 授权 成 功 或 失败 ， 都 向 下 一 个 bolt 发 出 一 


程序 清单 4-3 AuthorizeCreditCard.java 


用 于 更 新 数据 库 
中 订单 状态 的 DAO 


public class AuthorizeCreditCard extends BaseBasicBolt { 
private AuthorizationService authorizationService,; 


信用 卡 private OrderDao orderDao; Se 
授 权 难 证 Ob] ect, 数 据 存 


服务 @Override 取 对 象 ) 
public void declareOutputFields (OutputFieldsDeclarer declarer) { 
declarer.declare (new Fields ("order")).; 


) 表明 bolt 将 发 
射 一 个 字段 名 为 
@Override order 的 元 组 


public void prepare (Map config, 
TopologyContext context) { 


orderDao = new OraderDao ( ) ; 
authorizationService = new AuthorizationService(); 
ee } 
尝试 调用 
外 部 的 授权 @Override 从 输入 
服务 对 信用 public void execute (Tuple tuple, 的 元 组 中 
卡 授 权 执 行 BaslijcOutputCollector outputCollector) { 获取 订单 
验证 Order order = (Order) tuple.getValueByField(“order"”).; 数据 
boolean isAuthorized = authorizationService.authorize (order):; 
if (isAuthorized) f a 
更 新 数据 库 orderDao.updateStatusToReadyToShip (ordqeLr) ; 蝎 新 数 所 L 
中 订单 状态 为 | else { pi 
“储备 发 贷 ” orderDao.updateStatusToDenied (order).,， 证 失败 
outputCollector.emit (new Values (order)).,， 发 送 包 含有 订 
} 单数 据 的 元 组 到 
} 下 游 数据 流 


一 旦 计 费 被 验证 通过 或 被 拒绝 ， 我 们 束 准 备 好 通知 下 游 系 统 ，ProcessedOrderNotification 的 实现 详 见 下 一 节 。 


4.3.2 ProcessedOrderNotification 的 实现 


这 是 我 们 数据 流 中 第 二 个 也 是 最 后 一 个 bolt，Processed-OrderNotification 将 接收 从 AuthorizeCreditCard bolt 发 射 过 来 
的 Order 对 象 ， 然 后 通知 一 个 外 部 系统 这 个 订单 已 经 处 理 过 了 。 这 个 bolt 不 发 射 任何 元 组 。 拓 扑 中 的 这 个 bolt 部 分 如 图 4.4 所 示 。 


这 个 bolt 的 代码 如 代码 清单 4.4 所 示 。 
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图 4.4 ”ProcessedOrderNotification bolt 接 收 来 自 AuthotizeCteditCatd 的 元 组 ， 但 不 发 射 任何 新 元 组 ， 并 且 通 知 外 部 系统 
程序 清单 4-4 ProcessedOrderNotification.java 


public class ProcessedOrderNotification extends BaseBasicBolt 1 


private NotificationService notificationService; < 上 一 一 
@Override 用 于 上 告 
public void declareOutputFields (OutputFieldsDeclarer declarer) { | Ww 
// This bolt does not emit anything. No output fields will be declared. 知 下 游 数 
} 据 流 系统 
该 订单 已 
@Override 经 处 理 过 
public void prepare (Map config, 了 的 提示 
TopologyContext context) { 服务 
notificationService = new NotificationService(); | 
从 输 |  }】} 
入 元 组 @Override 
中 提取 public void execute (Tuple tuple, 
订单 信 BasicoutputCollector outputCollector) ({ 提示 服务 各 
息 > Order order = (Order) tuple.getValueByFleld(\orader”) ; 知 下 游 数据 流 
notifijcationService.notifyOrderHasBeenProcessed(order); 十 一 系统 该 订单 已 
} 经 处 理 过 了 


| 


当 我 们 把 订单 已 经 处 理 的 消息 通知 给 下 游 系统 后 ， 融 没有 其 他 事情 可 做 了 ， 折 扑 中 bolt 的 作用 残 此 绪 束 。 到 此 为 止 ， 我 们 已 
经 完成 了 一 个 明确 的 解决 方案 (忽略 挥 的 spout， 将 在 稍 后 讨论 ) 。 在 本 章 中 采用 的 设计 /实现 步骤 与 我 们 在 第 2 章 和 第 3 章 中 米 
用 的 步骤 是 相同 的 。 


这 里 在 实现 上 与 前 两 草 唯一 不 同 之 处 在 于 ， 我 们 需要 确保 所 有 的 元 组 都 要 被 拓扑 中 的 每 个 bolt 执 行 处 理 。 处 理财 务 相关 的 应 
用 和 处 理 GitHub 提 交 数 ， 或 者 统计 社交 媒体 签到 数 的 应 用 有 很 大 不 同 ， 还 记得 4.1.1 节 中 提 到 的 支持 可 靠 性 所 需 的 万 法 吗 ? 


一 个 可 靠 的 数据 源 和 与 之 相应 可 靠 的 spout。 

. 一 个 锚 定 的 元 组 流 。 

: 一 个 能 够 感知 每 个 元 组 是 和 否 已 经 完成 处 理 ， 以 及 广播 元 组 处 理 失 败 信息 的 拓扑 。 
一 个 具备 容错 能 力 的 Storm 集 群 基础 环境 。 


我 们 目前 的 设计 需要 支撑 前 三 个 步骤 ， 那 么 在 实现 上 需要 做 什么 调整 呢 ? 管 案 是 不 需要 做 任何 修改 ! 因为 现 有 的 bolt 代 码 已 
经 足够 在 Storm 中 提供 消息 处 理 保障 的 条 件 了 。 我 们 接 下 来 束 深 入 细节 ， 看 看 Storm 是 如 何 做 到 的 以 及 我 们 需要 依赖 的 
RabbitMQspout。 


4.4 ”消息 处 理 保障 


消息 (message) 是 什么 ，Storm 是 如 何 确 保 消 息 必须 被 处 理 的 呢 ? 一 个 消息 其 实 是 一 个 元 组 的 代名词 ，Storm 要 做 的 是 确 
保 消 息 从 spout 以 元 组 的 形式 发 射出 来 ， 并 经 过 拓扑 中 各 bolt 完 成 处 理 。 所 以 ， 如 果 一 个 元 组 在 数据 流 中 某 个 计算 结 点 失败 
了 ，Storm 会 立刻 被 告知 这 次 失败 ， 然 后 重 试 这 个 元 组 ， 直 到 确保 这 个 元 组 完成 了 全 部 的 数据 处 理 。Storm 文 档 中 对 这 种 能 力 的 
摘 述 是 消息 处 理 保 障 (guaranteed message processing) ， 我 们 在 这 本 书 中 沿用 这 种 质 述 。 


如 果 你 想 开 友 强 可 靠 性 的 拓扑 ， 那 么 了 解 消息 处 理 保障 是 非常 有 必要 的 ， 第 一 步 需要 认识 的 是 了 解 一 个 元 组 的 处 理 成 功 或 失 
败 意 味 着 什么 。 


4.4.1 元 组 状态 : 处 理 完 成 或 失败 


当 spout 发 射出 的 一 个 元 组 ， 下 游 的 bolt 在 接收 并 完成 处 理 后 ， 可 能 会 友 射 出 更 多 种 类 的 元 组 ， 这 其 实 就 创建 了 一 棵 元 组 树 
(tupletree) ， 其 中 spout 发 射 的 元 组 称 为 根 (root) 元 组 。Storm 为 每 个 由 spout 发 射出 的 元 组 创建 一 棵 元 组 树 ， 并 持续 跟踪 
这 棵 树 的 处 理 情况 。 当 一 棵 元 组 树 的 所 有 叶 结 点 都 标记 为 已 处 理 ， 那 么 storm 才 会 认为 由 spout 发 出 的 这 个 元 组 已 经 完整 处 理 过 
了 。 为 了 确保 Storm 能 创建 并 跟踪 元 组 树 的 状态 ， 你 需要 借助 Storm 的 API 完 成 两 件 事 情 : 


. 当 bolt 要 发 射 新 的 元 组 时 ， 你 需要 确保 其 输入 元 组 已 被 锚 定 。 如 果 bolt 自 己 能 说 话 ， 那 它 此 时 会 对 大 家 说 : “我 准备 好 
了 ， 我 将 立即 发 射 一 个 新 元 组 ， 并 且 包 含 初 始 化 的 输入 元 组 ， 你 们 可 以 与 其 建立 连接 了  。 


` 确保 你 的 bolt 在 完成 对 输入 元 组 的 处 理 之 后 会 通知 Storm， 这 个 动作 叫做 应 答 (acking) ， 如 果 用 bolt 说 话 的 方式 语言 来 表 
达 ， 那 就 是 “Storm， 我 已 经 完成 了 对 该 元 组 的 处 理 ， 可 以 放心 在 元 组 树 中 将 其 标记 为 处 理 完成 了 ”。 


崇 接 着 ，Storm 束 会 开始 按 需 求 创建 和 跟 路 元 组 树 。 
有 向 非 循环 图 和 元 组 树 


虽然 我 们 称呼 它 为 元 组 树 ， 其 实 它 全 称 为 有 向 非 循环 图 (Ditected Acyclic Graph，DAG) 。 有 向 图 是 通过 有 向 的 边 连接 的 一 


组 结 点 ， 一 个 DAG 也 是 一 个 有 向 图 ， 但 你 无 法 从 起 始 结 点 开始 ， 通 过 顺 着 某 个 边 可 以 最 终 回 到 这 个 起 始 结 点 。 早 期 的 Storm 版 本 
只 支持 元 组 树 ， 现 在 的 Storm 已 经 开始 全 面 支持 DAG， 而 对 元 组 树 的 支持 不 再 做 新 的 更 新 了 。 


在 理想 的 情况 下 ， 从 spout 友 出 的 元 组 总 是 能 完整 无 销 地 执行 处 理 ， 但 不 乎 的 是 软件 世界 并 不 足 是 理想 的 场景 ， 你 需要 去 预 
判 一 些 错 误 。 例 如 以 下 两 种 场景 ， 束 可 能 在 元 组 层面 上 出 现 错误 。 


组 树 的 叶 结 点 如 果 在 一 定 的 时 间 内 不 能 被 标记 为 处 理 完 成 (已 应 答 ) 的 状态 ,那么 元 组 树 将 会 报销 。 而 这 个 时 间 设 置 是 


元 
在 拓扑 层面 上 的 TOPOLOGY_MESSAGE_TIMEOUT_ SECS 中 配置 的 ， 缺 省 值 是 30 秒 ， 你 可 以 通过 下 面 的 代码 来 重新 设置 。 


Config config = new Config().,， 
config.setMessageTimeoutSecs(60);. 
如 果 一 个 元 组 在 bolt 的 手动 运行 中 失败 ， 那 么 在 元 组 树 中 将 立即 触发 错误 。 

我 们 不 断 提 到 元 组 树 这 个 概念 ， 那 么 接 下 来 惑 通过 一 棵 元 组 树 的 生命 周期 来 解构 它 的 工作 原理 。 


探索 元 组 的 奇妙 世界 
在 spout 发 送出 一 个 元 组 后 ， 一 个 元 组 树 的 初始 状态 如 图 4.5 所 示 ， 此 时 我 们 就 拥有 了 一 个 仅 有 根 结 点 的 元 组 树 了 。 


由 RabbitMQSponut 
发 射 的 元 组 


图 4.5 ”初始 化 状态 的 元 组 树 


数据 流 中 第 一 个 bolt 是 AuthorizeCreditCard， 用 于 提供 授权 验证 服务 ， 并 根据 结果 发 射 一 个 新 的 元 组 。 发 射 元 组 后 的 元 组 
树 效果 如 图 4.6 所 示 。 

我 们 需要 在 AuthorizeCreditCard bolt 中 去 锁定 输入 的 元 组 ， 以 便 Storm 可 以 标记 该 元 组 为 处 理 完成 。 图 4.7 显 示 了 锁定 元 
组 完成 处 理 后 的 元 组 树 效果 。 


一 日 一 个 元 组 由 AuthorizeCreditCard bolt 发 射出 来 ， 它 将 进入 到 ProcessedOrderNotification 
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bolt 中 ， 但 这 个 bolt 不 发 射 新 的 元 组 ， 所 以 将 不 会 有 新 的 元 组 加 入 到 元 组 树 中 。 但 是 我 们 需要 去 应 答 该 输入 元 组 ， 以 便 能 告 
诉 Sstorm 这 个 bolt 对 该 元 组 的 处 理 结果 。 处 理 完 元 组 应 答 后 的 元 组 树 状态 如 图 4.8 所 示 ， 此 时 元 组 将 被 认定 已 经 完成 了 处 理 操 


由 RabbitMQSpout 
发 射 的 元 组 


由 AuthorizeCreditCard 
发 射 的 元 组 


图 4.6 ”在 AuthorizeCreditCard bolt 


-一 


由 RabbitMQSponut 
发 射 的 元 组 被 标记 
为 处 理 完 成 


一 


由 AuthorizeCreditCard 
发 射 的 元 组 


图 4.7 AuthorizeCreditCard bolt 应 谷 了 


由 RabbitMQSponut 
发 射 的 元 组 被 标记 为 
处 理 完 成 


由 AuthorizeCreditCard 
友和 避 的 元 组 被 标记 为 处 


| 


图 4.8 ProcessedOrderNotification bolt 应 和 从 了 输入 元 组 后 的 元 组 树 


在 了 解 了 元 组 树 的 结构 和 定义 之 后 ， 接 下 来 我 们 融 看 看 如 何在 代码 中 实现 bolt 对 元 组 的 锁定 和 应 答 ， 以 及 元 组 处 理 失败 后 可 


能 报 出 的 错误 ， 我 们 需要 如 何 去 应 对 。 


4.4.2 ”bolt 中 的 销 定 、 应 爸 和 容错 


有 两 种 方法 去 在 bolt 中 实现 对 元 组 的 锁定 、 应 答 和 容错 : 显 式 (explicit) 和 隐 陈 (implicit) 。 之 前 我 们 曾 提 到 ，bolt 默 认 


已 经 为 消息 处 理 提供 了 保障 机 制 ， 而 这 也 恰好 是 由 接 下 来 将 讨论 的 元 组 锁定 、 应 答 和 容错 功能 来 实现 的 。 


隐 式 的 销 定 、 应 管 和 容错 


在 我 们 的 实现 中 ， 所 有 的 bolt 都 继承 于 BaseBasicBolt 这 个 抽象 类 ， 而 使 用 BaseBasicBolt 做 为 基 类 的 好 处 ， 就 是 因为 它 自动 


提供 了 线程 的 锁定 与 应 答 功 能 ， 如 下 列表 融 是 storm 如 何 提供 这 些 特性 的 方式 : 


“ 锚 定 一 一 在 BaseBasicBolt 实 现 中 的 execute () 方法 内 ， 将 执行 发 射 一 个 元 组 到 下 一 个 bolt 的 工作 。 在 这 


时 ，BasicOutputCollectot 将 承担 把 输出 元 组 锚 定 至 一 个 对 应 输入 元 组 的 责任 。 如 在 AuthotizeCtreditCatd 中 我 们 需要 发 射出 订单 ， 那 


么 发 出 的 订单 元 组 将 自动 锚 定 到 输入 的 订单 元 组 。 
outputCollector.emit (new Values (ordeCLi) ) :; 


.应答 一 一 当 BaseBasicBolt 中 的 execute () 方法 执行 完成 了 ， 发 送 过 来 的 元 组 将 自动 执行 应 答 。 


. 容错 如 果 在 执行 execute () 方法 时 出 错 了 ， 系 统 处 理 的 方式 是 抛 出 一 个 FailedException 或 RepottedFailedException 的 异 


常 ， 用 于 通知 BaseBasicBolt 执 行 的 结果 ， 然 后 由 BaseBasicBolt 标 记 那 个 元 组 为 失败 (failing) 。 


通过 隐 式 的 锁定 、 应 答 和 容错 操作 ， 使 用 BaseBasicBolt 来 跟踪 元 组 状态 变 得 非常 简单 。 但 是 BaseBasicBolt 并 不 适用 于 所 有 
的 场景 ， 它 只 适合 应 用 于 当 单 个 元 组 进入 bolt 并 且 该 bolt 将 只 发 出 一 个 对 应 的 单个 元 组 的 场景 ， 而 这 恰好 是 我 们 的 信用 卡 授权 验 
证 的 案例 场景 。 但 是 对 于 更 复杂 的 场景 应 用 ， 就 需要 使 用 显 式 的 销 定 、 应 答 和 容错 机 制 了 。 


显 式 的 锁定 、 应 答 和 容错 
当 我 们 的 bolt 在 处 理 更 复杂 的 任务 时 ， 例 如 : 
` 需要 对 多 个 输入 元 组 执行 聚合 或 是 折 县 (collapsing) 操作 。 


` 需要 连接 多 个 输入 数据 流 (在 本 章 中 我 们 不 涉及 多 数据 流 的 情况 ,但 是 在 第 3 章 中 的 热力 图 案例 ， 就 刚好 是 有 两 个 数据 流 


流入 一 个 bolt， 其 中 一 个 额外 数据 流 是 心跳 元 组 流 ) 。 


那么 接 下 来 看 看 BaseBasicBolt 提 供 的 一 些 额外 功能 ， 其 中 BaseBasicBolt 适 用 于 可 预测 的 行为 。 当 你 需要 由 程序 来 判断 元 组 
批 次 是 否 完成 时 (例如 当 执行 聚合 时 ) ， 或 者 在 运行 中 决定 是 否 需 要 连接 两 个 或 更 多 数据 流 时 ， 那 么 系统 需要 具备 判断 锁定 、 应 
答 和 容错 的 能 力 。 在 这 些 案例 中 ， 你 就 需要 使 用 BaseRichBolt 来 代替 BaseBasicBolt 作 为 基 类 ， 如 下 面 的 列表 所 示 ， 展 现 了 继承 
于 BaseRichBolt 的 一 个 bolt 内 部 能 实现 的 功能 。 


` 锚 定 一 一 为 了 提供 显 式 的 锚 定 能 力 ， 我 们 需要 在 bolt 的 execute () 方法 中 将 输入 的 元 组 传 到 outputCollector 上 的 emit () 方 


法 里 : 其 中 outputCollectot.emit (new Values (otdet) ) 将 变 成 outputCollectotr.emit (tuple, new Values (otdet) ) 。 


.应答 一 一 为 了 提供 显 式 的 应 答 能 力 ， 我 们 需要 在 bolt 的 execute () 方法 中 调用 outputCollectot 的 acKk 方 法 : 


outputCollector.ack (tuple) 。 


.容错 这 是 在 bolt 中 的 execute () 的 方法 内 调用 outputCollector 的 fail 方 法 : throw new FailedException () 将 变 成 


outputCollector.fail (tuple) 。 
尽管 不 是 所 有 场景 中 都 能 使 用 BaseBasicBolt 类 ， 但 我 们 可 以 使 用 BaseRichBolt 来 代替 前 者 能 实现 的 所 有 场景 ， 因 为 它 可 以 


提供 更 灵活 的 锁定 、 应 答 和 容错 控制 。 我 们 的 信用 卡 授权 验证 拓扑 可 以 使 用 BaseBasicBolt 来 实现 可 靠 性 ， 但 也 可 以 由 
BaseRichBolt 来 轻松 实现 。 代 码 清单 4.5 展 示 了 基于 BaseRichBolt 重 写 的 信用 卡 授权 验证 拓扑 中 的 一 个 bolt。 


程序 清单 4-5 ”在 AuthorizeCreditCard.java 中 采用 显 性 的 锚 定 与 应 答 机 制 


将 订 承 类 
public class AuthorizeCreditCard extends BaseRichBolt ({ < 一 符 继 承 类 由 
private AuthorizationService authorizationService; BaseBasicBolt 
private OrderDao orderDao; 切换 成 
private OutputCollector outputCollector; BaseRichBolt 
@Override 


public void declareOutputFields (OutputFieldsDeclarer declarer) { 


declarer.declare (new Fields ("order")).， 


| 


@Override 

public void prepare (Map config, 
TopologyContext context, 
OutputCollector collector) !{ 


orderDao = new OrderDao(); 保存 OutputCollector 
authorizationService = new AuthorizationService() ; 到 一 个 实例 变量 中 
outputCollector = collector; 

@Override 


public void execute (Tuple tuple, 
BasicOutputCollector outputCollector) { 
Order order = (Order) tuple.getValueByField("order"); 
boolean isAuthorized = authorizationService.authorize (order).; 
if (isAuthorized) { 
orderDao.updateStatusToReadyToShip (order).,， 
} else { 
orderDao.updateStatusToDenied (order).,， 


} 锚 定 输入 
元 
outputCollector.emit (tuple, new Values (order)).,， < 二 一 一 
outputCollector.ack (tuple); < 人 
} 应 从 输入 
组 


关于 BaseBasicBolt 还 有 一 点 需要 注意 的 是 ， 我 们 在 每 次 执行 execute () 方法 时 都 会 调用 一 个 BasicOutputCollector, 但 
是 在 使 用 BaseRichBolt 时 ， 我 们 也 需要 通过 一 个 OutputCollector 来 维护 元 组 的 状态 ， 并 且 是 在 bolt 初 始 化 时 通过 prepare () 
方法 来 实现 的 。BasicOutputCollector 其 实 是 OutputCollector 的 一 个 精简 版 本 ， 它 也 是 由 一 个 QutputCollector 封 沪 ， 但 是 只 
暴露 了 更 精简 的 接口 ， 以 便 隐 藏 更 细 粒 度 的 功能 。 


在 使 用 BaseRichBolt 时 还 需要 注意 的 一 件 事 ， 如 果 我 们 不 将 输出 元 组 销 定 到 输入 的 元 组 上 ， 数 据 流 将 很 难 具备 任何 可 靠 
性 。BaseBasicBolt 通 过 以 下 方式 来 实现 销 定 : 


` 锁 足 outputCollector.emit (tuple, new Values (otdet) ) 。 


. 非 锚 定 outputCollectot.emit (new Values (order) ) 。 


在 了 解 了 锚 定 和 应 答 ， 接 下 来 看 看 另外 一 个 和 前 向 处 理 无 关 的 机 制 : 容错 性 。 元 组 处 理 失败 是 一 种 很 常见 的 情况 ， 所 以 需要 
一 种 机 制 来 保证 错误 可 知 以 及 是 人 否 可 重 试 。 


处 理 报错 和 尝试 重 试 


我 们 已 经 涵 盖 了 消息 处 理 保障 相关 的 众多 概念 ， 包 括 销 定 和 应 答 ， 但 是 还 没有 解决 如 何 处 理 报错 以 及 重 试 。 已 知 在 出 现 错误 
时 ， 系 统 可 以 抛 出 FailedException 或 ReportedFailedException 异 常 ( 当 使 用 BaseBasicBolt 时 ) ， 或 者 调用 OutputCollector 
的 fail 万 法 ( 当 使 用 BaseRichBolt 时 ) 。 我 们 接 下 来 看 看 AuthorizeCreditCard bolt 中 的 上 下 文 ， 如 代码 清单 4.6 所 示 ， 这 里 只 显 
示 了 修改 为 显 式 容错 机 制 的 execute () 方法 部 分 。 


程序 清单 4-6 ”在 AuthorizeCreditCard.execute () 中 的 锁定 、 应 答 和 容错 


public voidq execute (Tuple tuple) |{ 
Order order = (Order) tuple.getValueByField("order").,， 
try 1 
boolean isAuthorized = authorizationService.authorize (order).; 
if (isAuthorized) { 
orderDao.updateStatusToReadyToShip (order); 


1} else { 
££ FA A 于 
orderDao.updateStatusToDenied (ordaez) ; 钉 定 输入 元 组 
outputCollector.emit (tuple, new Values (ordezr) ) ; 一 应 答 输 入 元 组 
outputCollector.ack (tuple); | 
} catch (ServiceException e) { 
outputCollector.fail (tuple),; < 当 服 务 抛 出 异常 时 为 
} 输入 元 组 报错 


通过 这 种 方式 报错 元 组 将 导致 整个 元 组 树 从 spout 开 始 回 放 重 试 ， 而 这 也 是 为 消息 处 理 建 立 保障 机 制 的 关键 ， 因 为 这 是 激活 
重 试 机 制 的 主要 触 友 器 。 所 以 能 第 一 时 间 获 知 元 组 是 否 失败 了 是 非常 重要 的 ， 这 可 能 看 上 去 很 显而易见 ， 但 是 元 组 在 执行 重 试 操 
作 前 还 需要 判断 其 是 否 可 重 试 (retriable) 。 因 此 问题 束 变 成 了 需要 判断 什么 是 具备 可 重 试 特征 的 ， 如 下 面 例子 所 示 ， 为 几 种 不 


同类 型 的 错误 。 


“ 已 知 错误 可 以 分 为 两 类 : 


“ 可 重 试 的 一 一 对 于 已 知 特定 的 可 重 试 错误 〈 例 如 连接 服务 器 的 时 候 发 生 socket 超 时 异常 ) ， 我 们 就 需要 对 失败 的 元 组 尝试 
回放 和 重 会。 


` 不 可 重 试 对 于 已 知 但 可 能 重 试 时 出 现 风 险 的 已 知 错 误 (比如 针对 REST API 的 POST 方法 ) ， 或 当时 不 合理 的 重 试 ( 比 
如 处 理 NON 和 XML 时 抛 出 的 ParseException 异 种 ) ， 你 没有 必要 去 处 理 这 些 失 败 元 组 。 当 遇 到 不 可 重 试 的 错误 时 ， 你 要 做 的 应 该 
是 去 不 断 应 答 这 些 元 组 ， 而 不 是 对 元 组 采取 容错 (这 样 就 不 需要 发 射 新 元 组 了 ) ， 因 为 没有 必要 去 触发 回放 机 制 。 我 们 建议 在 这 
里 可 以 增加 某 种 日 志 记 录 或 报告 的 方式 ， 以 便 帮 助 你 了 解 拓 扑 中 出 现 了 哪些 错误 。 


“ 未 知 错误 一 一 一 般 来 说 ， 很 少 会 碰 到 未 知 或 者 意料 之 外 的 错误 ， 所 以 需要 针对 性 地 对 失败 做 重 试 。 一 旦 出 现 这 类 错误 ， 其 
实 就 变 成 了 一 个 已 知 错误 〈 假 设 日 忘记 录 十 分 准确 可 支撑 判断 ) ， 你 就 可 以 采取 可 重 试 或 不 可 重 试 的 方式 来 处 理 这 类 错误 。 


在 Stortm 拓 扑 中 的 数据 出 现 错误 是 很 常见 的 事情 ， 我 们 将 在 第 6 章 中 讨论 容错 相关 的 度量 (metric) 指标 。 


到 此 为 止 ， 我们 讨论 了 bolt 中 的 锚 定 、 应 答 和 容错 机 制 ， 现 在 是 时 候 将 注意 力 转 到 spout 上 了 。 我 们 提 到 过 当 重 试 机 制 得 到 
触 上 时 ， 重 试 将 从 spout 开 始 并 从 上 而 下 地 执行 ， 接 下 来 残 看 看 它 是 如 何 工 作 的 吧 。 


4.4.3 ”spout 在 消息 处 理 保障 中 的 角色 


到 目前 为 止 ， 我 们 都 一 直 在 讨论 如 何 基于 bolt 实 现 消息 处 理 的 保障 机 制 。 在 这 一 节 中 ， 我 们 会 完成 所 有 环节 ， 并 讨论 在 保障 
发 射 元 组 元 全 处 理 或 失败 重 试 的 过 程 中 ，spout 所 扮演 的 角色 。 如 代码 清单 4.7 所 示 ， 展 示 了 在 第 2 草 出 现 的 spout 接 口 。 


程序 清单 4-7 ”lspout.java 接 口 


public interface ISpout extends Serializable { 
void open (Map config, 
TopologyContext context, 
SpoutOutputCollector outputCollector);) 


void close(); 个 
Vold nextTuple(),; 二 
void ack (Object mesSsageId) ; < 


void fail (Object messagelId); < 一 他) 


spout 是 如 何 参 与 到 消息 处 理 的 保障 机 制 中 呢 ? 如 上 面 的 代码 所 示 : ack@ 与 failG@) 方 法 在 中 间 起 到 重要 作用 。 下 面 的 步骤 将 
更 完整 地 展现 spout 和 在 皮 射 元 组 前 友 生 的 事情 ， 直 到 该 元 组 完成 了 处 理 或 是 处 理 失败 报 钳 : 


1.Storm 通 过 调用 spout 中 的 nextTuple@@ 请 求 一 个 元 组 。 
2.spout 通 过 SpoutOutputCollector 发 射 一 个 元 组 到 其 中 一 个 数据 流 中 。 
3. 当 spout 必 射出 元 组 ， 它 将 提供 一 个 messageld 用 于 标识 这 个 指定 的 元 组 ， 看 上 去 像 这 样 : 


spoutOutputCollector.emit (tuple, messageId).;. 
4. 元 组 被 上 友 送 到 下 游 的 bolt 中 ， 并 且 由 Storm 来 跟 蹊 所 创建 的 消息 元 组 树 。 记 住 ， 这 是 通过 各 个 bolt 中 的 锁定 和 应 答 来 实现 
的 ， 这 样 才能 让 Storm 上 有 具备 持续 构建 树 并 且 标 记 叶 子 是 否 已 被 处 理 的 能 


5. 如 果 Storm 检 测 到 一 个 元 组 已 被 完整 处 理 ， 那 么 它 将 基于 消息 的 1D 在 初始 源头 的 spout 中 调用 ack@ 方 法 ， 而 其 中 消息 的 


ID 则 是 spout 提 供给 storm 的 。 


6. 如 果 元 组 处 理 超时 ， 或 者 消费 bolt 中 的 一 个 元 组 明显 处 理 失败 (比如 我 们 的 Authorize-CreditCard bolt) ， 那 么 Storm 将 
基于 消息 的 ID 在 初始 源头 的 spout 中 调用 fail@ 万 法 。 


步骤 3、5 和 6 是 spout 能 实现 消息 处 理 保障 机 制 的 关键 ， 当 发 射 一 个 元 组 的 时 候 ， 系 统 都 会 分 配 一 个 messageld。 如 果 不 这 
么 做 ， 意 味 着 Storm 就 无 法 跟踪 元 组 树 的 状态 。 如 果 可 以 的 话 ， 你 应 该 在 ack 方 法 中 添加 一 部 分 代码 ， 用 于 对 已 经 完全 处 理 的 元 
组 执行 相应 的 清理 工作 。 当 然 ， 你 也 应 该 向 fail 方 法 中 添 一 部 分 加 代码 ， 用 于 实现 元 组 的 重 放 。 


Storm 的 acker 任 务 


Stotm 使 用 特殊 的 “ackef 任务 来 保持 对 元 组 树 的 跟踪 ， 以 便 能 检测 一 个 spout 元 组 是 否 经 历 了 完整 的 处 理 过 程 。 如 果 一 个 


acket 任 务 发 现 一 棵 元 组 树 已 经 执行 完成 ， 它 将 发 射 一 个 消息 到 最 初 发 射 该 元 组 的 spout， 并 促使 spout 调 用 其 ack 方 法 。 


看 起 来 我 们 需要 编写 一 个 能 支持 所 有 这 些 标准 的 spout 实 现 。 在 上 一 草 中 ， 我 们 了 解 了 不 可 靠 数 据 源 的 概念 ， 而 不 可 靠 的 数 
据 源 是 无 法 支持 应 管 和 容错 的 ， 一 旦 该 数据 源 向 spout 提 交 了 一 个 消息 ， 它 将 假设 你 需要 去 承担 消息 处 理 的 对 应 责任 。 另 一 方 
面 ， 如 果 是 一 个 可 靠 的 数据 源 ， 它 在 同 spout 友 送 消息 时 ， 是 不 会 假设 你 能 否 对 消息 处 理 负 责 ， 除 非 你 能 提供 某 种 确认 的 应 管 。 
此 外 ， 一 个 可 靠 的 数据 源 有 能 力 为 任何 给 定 的 元 组 提供 容错 保障 ， 因 为 它 具备 在 任何 时 间 点 对 该 元 组 执行 重 试 或 回放 。 简 而 言 
之 ， 只 有 可 靠 的 数据 源 才能 支持 步骤 3、5 和 和 |6。 


要 想 印 证 可 靠 数 据 源 的 功能 如 何 与 一 个 spout API 匹 配 应 用 的 最 好 方法 ， 融 是 使 用 单 用 的 数据 源 实 现 一 个 解决 方案 。 
Kafka、RabbitMQ 和 Kestrel 都 能 与 Storm 配 合 使 用 ， 其 中 Kafka 是 你 基础 设施 库 中 最 有 价值 的 工具 ， 它 能 与 Storm 很 好 的 协 


作 ， 我们 将 在 第 9 章 中 详细 介绍 。 现 在 我 们 需要 尝试 先 与 RabbitMQ 配 合 使 用 ， 因 为 针对 我 们 当前 的 这 个 案例 它 是 一 个 非常 合适 
的 方案 。 


一 个 可 靠 的 spout 实 现 


我 们 先 来 看 一 个 基于 RabbitMQ 的 spout 实 现 ， 它 将 提供 这 个 案例 中 需要 的 所 有 可 靠 性 [。 请 记 住 ， 我 们 的 主要 关注 点 不 是 
RabbitMQ， 而 是 一 个 正常 实现 的 spout 如 何 与 可 靠 数据 源 一 起 提供 消息 处 理 的 保障 机 制 。 如 果 你 不 想 遵循 RabbitMQ 客 户 端 的 
API 规 范 ， 不 用 担心 ， 我 们 已 经 在 代码 清单 4.8 强 调 了 最 需要 遵循 的 重要 部 分 。 


程序 清单 4-8 RabbitMQspout.java 


public class RabbitMQSpout extends BaseRichSpout { < 一 一 


private Connection connection,; 继承 BaseRichSpout 
private Channel channel,; 抽象 类 来 实现 Ispout 


private QueueingConsumer consumeL ; 
private SpoutOutputCollector outputCollector; 


@Override 
public void SoolareU0Ub pL rio LAs OULD LAr declarer) {{ 其 干 默 认 的 访问 授 
declarer.declare (new Fields ("order")).， 权 和 设置 连接 到 运行 
} 在 localhost 上 的 
RabbitMQ 结 点 
@Override 


public void open (Map config, 


Af vhs 

每 次 从 TopologyContext topologyContext, 
RabbitMOQ SpoutOoutputCollector spoutOutputCollector) { 当 我 们 从 RabbitMO 
消费 并 在 本 outputCollector = spoutOutputCollector; 队列 中 取出 消息 时 ， 
地 缓冲 25 connection = new ConnectionFactory() .newConnection() ; < 需要 在 本 地 消费 者 

条 消息 channel] = connection.createChannel () :; (consumer) 中 缓冲 这 


Tr channel.basicQos (25) ; 此 消息 
2 SEN 
consumer = new QueueingConsumer (channel) ; < 


-人 channelLl .basicConsume ("orders", 


@Override 

public void nextTuple() { 
QueueingConsumer.Delivery delivery 
lf (delivery == null) return; 
Long msgId delijvery.getEnvelope() 
bytel[] msgAsbytes 
String msgAsString 
Order order new Gson\() 


当 Storm 准备 向 下 游 bolt 
发 射 下 一 个 消 忌 时 - 会 直接 调 


为 RabbitMQO 队列 设置 消费 订 
网， 消费 的 消息 将 被 缓存 到 本 地 缓 
存 的 消费 者 (consumer) 对 象 中 ， 
并 且 在 下 游 bolt 发送 回 ack 前 
不 会 应 答 它 


当 全 部 下 游 bolt 都 完成 了 这 个 消息 的 处 理 操 作 ， 
Storm 就 需要 调用 spout 中 的 ack， 此 时 调用 的 消息 
ID 与 发 射 该 消息 时 spout 锚 定 于 该 消息 的 ID 是 一 样 的 


@Override 
public void ack (Object msgId) { 
channel .basicAck ( (Long) msgId, 


} 


@Override 
-人 public void fail(Object msgId) { 
Storm 会 channel .basicReject ( (Long) msgId, 
在 下 游 处 理 失 | | 
败 的 时 候 调 用 @Override 
fail 方 法 public void close() { 
channel .close(),， 


connection.close();， 


| 
} 


Storm 在 基础 设施 中 提供 了 大 量 工具 ， 用 于 确保 spout 发 出 的 元 组 可 以 实现 
你 必须 使 用 一 个 可 以 支持 元 组 回放 的 可 靠 数 据 涯 。 另 外 ， 实 现 的 spout 还 需 
关 重 要 。 


你 希望 在 拓扑 中 为 消息 处 理 提 供 保障 机 制 ， 那 了 解 以 上 这 几 点 至 


从 spout 友 射 锁定 和 非 钉 定 元 组 的 区 别 


我 们 在 前 几 章 中 创建 的 拓扑 都 没有 提供 消息 处 理 保 障 或 容错 机 制 ， 


供 了 锚 定 和 应 答 的 支持 ， 但 是 这 些 章 节 中 出 现 的 元 组 并 不 是 来 自 于 可 靠 
处 发 射 元 组 时 ， 它 们 通过 outputCollectot.emit (new Values (order) ) 实现 “ 非 锚 定 


false /*auto-ack=false*/, 


= consumer.nextDelivery (1L).,， < 一 一 一 一 
/* no messages yet */ 
.getDelijveryTag(); < 二 一 一 


delivery.getBody();} 

new String (msgAsbytes, 
.fromJson (msgAsString, 
outputCollector.emit (new Values (order), msgId),， 


false /* only acking this msgId */); 


consumer),，; 


Charset.forName ("UTF-8")).， 
Order.class); < 二 一 一 
一 | 一 


发 射出 订单 元 组 ， 并 基于 
RabbitMO 提供 的 消息 ID 来 
执行 锚 定 


使 用 Google 提供 的 JSON 解 
析 库 ( GSON) 来 反 序 列 化 消息 为 
Order 对 象 


通过 RabbitMa 分 配 的 消息 ID 来 识别 此 消息 
(也 常用 于 建立 RabbitMao 和 Storm 之 间 沟 通 的 
桥梁 ) 


从 RabbitMQ 队列 的 本 地 缓冲 区 中 提取 es 
条 消息 。 由 于 nextTuple 需要 保证 线程 安全 才 
不 会 堵塞 Storm， 所 以 超时 设置 为 1ms 

当 所 有 下 游 都 完整 地 处 理 了 
这 个 消息 时 ,我 们 就 能 通知 
RabbitMQ@， 并 告知 该 消息 完 
成 处 理 并 已 从 队列 中 移 除了 


< 一 


true /* requeue enabled */);，; -十 一 一 
我 们 需要 告知 RabbitMo 将 该 消息 重新 放 
队列 重新 尝试 


N=3 


见 完整 处 理 。 但 是 为 了 保障 消息 能 被 有 效 地 处 理 ， 
具备 能 对 数据 源 提供 的 数据 执行 回放 的 能 力 。 如 果 


在 这 些 章节 中 虽然 也 使 用 了 BaseBasicBolt， 并 且 无 形 中 提 
的 spout。 正 因为 这 些 数据 源 的 不 可 人 靠 性 ， 当 我 们 从 spout 
定 ” 的 发 射 。 当 你 在 spout 上 不 对 元 组 执行 锁定 操 


作 时 ， 系 统 也 将 不 能 保证 它们 可 以 实现 完整 处 理 。 所 以 发 射 元 组 时 不 做 锚 定 操 作 永 远 都 是 不 合理 的 ， 就 像 我 们 在 热力 图 案例 中 所 
做 的 那样 。 


我 们 已 经 准备 好 开发 一 个 十 分 健壮 的 拓扑 ， 并 将 其 推 向 全 世界 。 那 么 到 目前 为 止 ， 我们 已 经 涵盖 了 需要 支持 可 靠 性 所 需 的 3 
个 重要 因子 : 


: 具有 可 靠 spout 的 数据 源 。 
` 提供 锚 定 元 组 的 数据 流 。 
“ 具备 知晓 元 组 执行 结果 并 且 能 通报 错误 的 拓扑 。 


但 是 在 开始 第 5 章 之 前 ， 我 们 还 需要 讨论 最 后 一 个 概念 : storm 集群 。 首 先 看 看 与 回放 (replay) 有 关 的 语义 ， 以 及 如 何 确 
定 当 前 的 拓扑 是 否 能 足够 文 返 我 们 的 需求 。 


[1 你 可 以 在 GitHub 上 找到 一 些 更 健壮 、 可 配置 以 及 性 能 优异 的 基于 RabbitMQ 的 spout 实现 : https://github.com/ppat/storm- 


rabbitmq 。 


4.5 回放 语义 


如 果 我 们 要 构建 健壮 的 拓扑 ， 束 必须 考虑 包括 集群 在 内 的 4 个 关键 因子 ， 但 当 你 在 思考 数据 流 是 否 也 能 提供 回放 特性 时 ， 你 
束 会 友 现 其 实 Storm 针 对 事务 处 理 提 供 了 不 同 级别 的 可 靠 性 保障 。 当 我 们 已 知 数据 流 可 以 满足 各 种 需求 时 ， 残 可 以 利用 其 不 同 的 
语义 来 实现 处 理 的 可 靠 性 。 接 下 来 ， 融 来 看 看 这 些 不 同 级 别 的 可 靠 性 吧 。 


4.5.1 Storm 中 可 靠 性 的 级 别 

当 我 们 回顾 第 3 章 中 的 数据 流 时 ， 束 会 发 现 不 同 程度 的 扩展 问题 ， 如 果 册 进一步 查看 我 们 设计 的 拓扑 ， 束 会 看 到 可 靠 性 其 实 
可 以 分 为 不 同 级 别 ， 我 们 这 里 将 其 分 为 3 个 级 别 : 

最 多 一 次 处 理 。 

类 多 理 。 

` 仅 一 次 处 理 。 

接 下 来 一 个 个 简单 解释 。 

最 多 一 次 处 理 


当 你 需要 确保 单个 元 组 不 会 被 处 理 一 次 以 上 的 时 候 ， 就 需要 使 用 最 多 一 次 处 理 的 机 制 。 在 这 种 情况 下 ， 不 会 发 生 任何 重 放 事 
务 。 因 此 ， 如 果 处 理 成 功 了 当然 非常 好 ， 但 是 如 果 失 败 了 ， 元 组 将 会 被 丢弃 掉 。 无 论 如 何 ， 这 种 语义 都 是 最 简单 的 选项 ， 并 且 不 
能 为 任何 操作 提供 可 靠 性 保障 。 我 们 在 前 面 的 章节 里 使 用 的 都 是 最 多 一 次 处 理 机 制 ， 因 为 这 些 案例 并 不 要 求 太 高 的 可 靠 性 。 在 前 
面 的 章节 中 ， 我 们 也 使 用 了 BaseBasicBolt (具有 自动 锚 定 和 应 答 功 能 ) ， 但 是 当 把 元 组 从 spout 发 射出 来 的 时 候 ， 也 并 没有 对 


元 组 增加 锁定 
你 不 需要 在 Storm 中 增加 任何 操作 来 实现 这 一 级 别 的 可 靠 性 ， 但 对 于 下 一 个 级 别 的 可 靠 性 就 不 一 样 了 。 
至 少 一 次 处 理 


当 你 需要 确保 单个 元 组 至 少 能 被 成 功 处 理 一 次 ， 融 需要 使 用 最 少 一 次 处 理 的 机 制 。 这 个 机 制 的 目的 是 对 单一 元 组 进行 多 次 重 
放 ， 并 且 确 保 在 某 种 情况 下 可 以 让 它 成 功 执行 一 次 。 而 你 最 关心 的 束 是 它 必 须要 成 功 一 次 ， 即 使 这 意味 着 要 做 大 量 多 余 的 操作 ，。 


要 在 Storm 中 实现 至 少 一 次 处 理 ， 你 需要 一 个 可 靠 的 spout 和 一 个 可 靠 的 数据 源 ， 以 及 一 个 市 有 销 定 的 数据 流 和 具备 应 答 和 
容错 能 力 的 元 组 ， 从 而 实现 最 严格 的 可 靠 性 机 制 。 


仅 一 次 处 理 


仅 一 次 处 理 和 至 少 一 次 处 理 看 上 去 好 像 很 类 似 ， 后 者 是 保证 每 个 元 组 至 少 能 被 成 功 处 理 一 次 ， 但 仅 一 次 处 理 却 只 保证 每 个 元 
组 仪 且 只 能 被 处 理 一 次 。 


同 实现 至 少 一 次 处 理 一 样 ， 你 需要 一 个 可 靠 的 sgpout 和 一 个 数据 源 和 一 个 可 靠 的 数据 源 ， 以 及 一 个 审 有 锁定 的 数据 沅 和 具备 
应 答 和 容 销 能 力 的 元 组 ， 但 在 这 里 不 同 的 地 方 是 ， 你 需要 确保 所 有 的 bolt 处 理 逻 辑 仅 对 每 个 元 组 运行 一 次 。 


为 了 了 解 你 设计 系统 应 该 选择 哪 一 种 处 理 机 制 ， 我 们 需要 先 理解 这 些 机 制 中 最 严格 复杂 但 又 最 微妙 的 一 种 : 仪 一 次 处 理 。 


4.5.2 在 storm 折 扑 中 检查 仪 一 次 处 理 

虽然 仅 一 次 处 理 只 是 很 简单 的 一 句 话 ， 但 它 包含 了 很 复杂 的 意义 在 里 面 ， 这 意味 着 你 需要 知道 你 是 否 能 了 解 每 个 工作 单元 的 
完成 状态 ， 也 就 是 必须 完成 下 面 的 几 步 : 

1 执行 工作 单元 。 

2. 记 录 完 成 的 工作 单元 。 


另外 ， 这 两 个 步骤 必须 作为 原子 操作 (atomic operation) 来 执行 : 那 意味 着 你 不 可 能 人 在 完成 操作 后 ， 出 现 记 录 失 败 的 情 
况 。 你 需要 一 步 做 到 完成 工作 后 束 立 刻 记录 结果 ， 如 果 你 在 记录 结果 前 ， 出 现 执行 失败 ， 那 么 这 将 意味 看 你 执行 的 不 是 仅 一 次 处 
理 ， 而 是 通常 一 次 (usually once) 处 理 。 在 大 多 数 情 况 下 ， 工 作 都 会 被 执行 一 次 ， 而 不 是 不 断 去 重 试 ， 这 其 实 衍生 出 一 种 非常 
严格 的 质量 管控 机 制 。 


至 少 一 次 处 理 和 仅 一 次 处 理 的 处 理 步 又 一 样 ， 只 是 不 需要 按照 原子 级 别 来 执行 这 两 个 步骤 。 如 果 由 于 某 种 原因 ， 在 工作 单元 
执行 操作 期 间或 之 后 友 生 和 失败， 系统 是 允许 来 执行 重 试 工作 的 ， 并 重新 尝试 记录 结果 。 但 如 果 系 统 不 允许 执行 重 试 工作 ， 那 么 你 
束 需 要 增加 一 个 非常 重要 的 需求 : 工作 单元 的 输出 结果 必须 是 昭 等 (idempotent) 的 。 一 个 虹 等 的 动作 意味 着 这 个 动作 在 多 次 
执行 后 ， 相 比 第 一 次 执行 ， 都 不 会 对 操作 对 象 产 生 任何 的 影响 ， 


例如 : 
“将 x 设 置 为 2 是 一 个 需 等 操作 。 


添加 2 到 变量 x 中 ”就 不 是 一 个 圭 等 操作 。 


对 于 需要 和 外 部 有 交 马 作用 的 操作 一 般 不 是 恬 等 的 ， 例 如 同 外 部 地 址 及 送 电子 邮件 。 重 复 执 行 该 工作 单元 的 动作 将 上 友 出 多 封 
电子 邮件 ， 这 也 许 根 本 融 不 是 你 所 期 望 的 实现 效果 。 


如 果 你 的 操作 不 是 若 等 的 ， 那 么 丈 必 须 倒退 为 最 多 一 次 处 理 的 机 制 。 你 对 工作 单元 的 完成 情况 更 看 重 结 果 的 不 重复 性 ， 而 不 
是 其 是 人 否 可 以 被 完成 。 


4.5.3 ”检查 拓扑 中 的 可 徘 性 保障 


我 们 应 该 如 何 为 拓扑 提供 更 严格 的 可 靠 性 呢 ? 是 否 真 的 有 此 必要 ”或 者 如 何 判断 当前 的 机 制 已 经 足够 了 ?为 了 回答 这 些 问 
， 束 需要 先 能 判断 当前 拓扑 结构 的 可 靠 性 级 别 。 


阅 


识别 当前 的 可 靠 性 级 别 


我 们 的 拓扑 当前 使 用 的 是 哪 种 类 型 的 处 理 呢 ? 由 于 设置 了 消息 处 理 的 保障 机 制 ， 一 旦 处 理 中 出 现 失 败 ， 系 统 将 对 该 元 组 执行 
重 坛 ， 这 残 排除 了 最 多 一 次 处 理 。 那 么 好 ， 我 们 接 下 来 残 硕 望 向 收 货 的 买方 收取 货款。 


那么 这 里 我 们 需要 使 用 仅 一 次 处 理 还 是 选择 至 少 一 次 处 理 呢 ? 那么 最 好 移 分 解 一 下 ， 我 们 的 “工作 单元 ”为 了 向 客户 的 信用 
卡 扣 取 货 球 费用， 并 同时 需要 更 新 订单 的 状态 ， 如 代码 清单 4.9 所 示 。 


程序 清单 4-9 ”检查 AuthorizeCreditCard.java 的 execute () 方法 


public voidq execute (Tuple tuple) { 
Order order = (Order) tuple.getValueByField("order"); 
try { 
boolean isAuthorized = authorizationService.authorize (order); <—() 
if (isAuthorized) { 
orderDao.updateStatusToReadyToShip (order),; <—{9) 
} else { 
orderDao.updateStatusToDenied (order) ; < 一 一 
L (3) 
outputCollector.emit (tuple, new Values (order)); | 
outputCollector.ack (tuple).; 


Am 


catch (ServiceException e) { 
outputCollector.fail (tuple); 


问题 是 这 样 的 : 这 两 个 步骤 是 否 也 在 一 个 原子 操作 中 呢 ? 答案 是 不 是 的 。 我 们 是 可 以 直接 从 用 户 信用 卡 中 扣 款 ， 并 且 不 需要 
去 更 新 J 单 的 状态 。 在 从 信用 卡 中 扣 款 @ 与 更 新 订单 状态 (@，@) 步 之 间 ， 可 能 会 友 生 以 下 几 种 情况 : 


数据 库 可 能 出 现 结果 存储 失效 。 


这 残 意 味 着 我 们 没有 实现 仅 一 次 处 理 的 语义 逻辑 ， 而 实现 的 是 至 少 一 次 处 理 的 语义 。 再 回 过 头 来 看 看 我 们 的 拓扑 ， 那 一 定 是 
有 问题 的 ， 因 为 对 元 组 执行 重 试 操 作 可 能 会 导致 客 尸 的 信用 卡 被 多 次 扣 取 费用 。 那 应 该 怎么 做 才能 规避 这 些 风险 呢 ? 从 目前 看 来 
仅 一 次 处 理 是 不 可 能 实现 的 ， 但 我 们 起 码 能 稳定 有 效 地 实现 至 少 一 次 处 理 的 操作 。 


在 授权 tJ 单 的 时 候 提 供 更 稳定 的 至 少 一 次 处 理 


想 要 提供 更 稳定 的 至少 一 次 处 理 机 制 ， 我 们 需要 判断 操作 是 否 具备 恬 等 性 。 但 答案 未 必 是 绝对 可 对 等 的 ， 因 为 我 们 这 里 需要 
外 部 的 第 三 方 信用 卡 授 权 服 务 文 撑 。 即 使 我 们 可 以 提供 订单 ID 作为 唯一 的 通信 标识 待 ， 外 部 服务 也 可 能 抛 出 类 似 


DuplicateTransactionException 


的 重复 提交 异常 错误 ， 那 么 基于 异 弟 我 们 丈 可 以 判断 是 否 能 更 新 订单 为 “准备 友 货 ”并 继续 下 一 步 处 理 。 如 代码 清单 4.10 所 
示 ， 如 何 处 理 这 样 的 异 单 。 


程序 清单 4-10 ”更 新 AuthorizeCreditCard.java 以 便 能 处 理 DuplicateTransactionException 异 常 


public void execute (Tuple tuple) { 


Order order = (Order) tuple.getValueByF1Ield('"orader' 1) ; 
try { 
boolean isAuthorized = authorizationService.authorize (order). 


if (isAuthorized) 1 
orderDao.updateStatusToReadyToShip (order).,， 

} else { 
orderDao.updateStatusToDenied (ordeL) ; 


| 


outputCollector.emit (tuple, new Values (order)); 0 | 
如 果 订 单 已 被 处 理 
outputCollector.ack (tuple).,， pe a 
并 且 走 重复 的 ， 就 需 
| 且 要 确保 状态 已 被 更 新 
catc DuplicateTransactionException e 村 Pe 
= 本 并 对 元 组 执行 应 签 


orderDao.updateStatusToReadyToShip (order); | 
outputCollector.ack (tuple); 


J 


catch (ServiceException e) f 
outputCollector.fail (tuple).,; 


| 
| 


除了 和 外 部 服务 之 间 协 作 上 的 优化 ， 我 们 还 有 什么 可 以 做 的 呢 ? 如果 进 程 在 向 用 尸 收 费 与 确认 已 经 支付 之 间 朋 演 了 ， 那 我 们 
基本 上 什么 都 做 不 了 了 ， 除 了 接受 这 种 有 几率 友 生 的 事故 ， 还 必须 准备 以 非 技 术 方 式 解 决 它 (例如 由 客 尸 服务 来 应 管用 尸 的 退 款 
申请 ) 。 实 际 上 ， 如 果 我 们 的 系统 足够 健壮 ， 这 应 该 是 相当 少见 的 情况 。 


对 于 “系统 无 法 记录 ”这 样 的 情况 ， 我 们 可 以 添加 部 分 预防 措施 。 例 如 在 同 信 用 卡 扣 蒜 之 前 ， 可 以 对 数据 库 做 一 次 验证 ， 确 
保 该 订单 数据 状态 有 效 ， 然 后 再 进行 更 新 操作 。 这 种 方法 可 以 有 效 降 低 信 用 卡 在 进行 扣 球 操作 时 ， 数 据 库 因为 关闭 而 无 法 更 新 订 
单 状态 的 情况 。 

忌 的 来 说 ， 以 上 这 些 都 是 非常 值得 尝试 的 做 法 。 如 果 你 要 在 拓扑 中 计算 非 昭 等 的 结果 并 存储 输出 ， 请 在 开始 执行 工作 单元 之 
前 对 数据 库 进 行 验证 ， 以 便 能 够 确保 结果 可 被 保 分。 如 代码 清单 4.11 所 示 ， 如 何 执行 类 似 这 样 的 检查 。 


程序 清单 4-11 更 新 AuthorizeCreditCard.java 用 于 在 执行 处 理 前 对 数据 库 做 检查 


public void execute (Tuple tuple) { 


Order order = (Order) tuple.getValueByPField("ordezr'" ) ; 检查 数据 库 

try 1 是 否 可 用 
if (orderDao.systemIsAvailable()) { 二 一 一 
boolean isAuthorized = authorizationService.authorize (order).， 


if (isAuthorized) { 
orderDao.updateStatusToReadyToShip (order); 

} else 1{ 
orderDao.updateStatusToDenied (order).,， 


| 


outputCollector.emit (tuple, new Values (order)),， 
outputCollector.ack (tuple); 


} else { 
outputCollector.fail (tuple); < 
} 如 果 数 据 库 不 可 用 ， 
} catch (ServiceException e) { 标记 元 组 处 理 失 败 


outputCollector.fail (tuple) ; 


| 
| 


所 以 到 目前 为 止 ， 我 们 已 经 有 效 地 改善 了 系统 的 可 靠 性 ， 回 顾 一 下 我 们 都 做 了 什么 : 
1. 授 权 信用 卡 。 

2. 更 新 订单 的 状态 。 

3. 将 变动 通知 给 外 部 系统 

看 上 去 还 没 提 到 步骤 3， 接 下 来 将 详细 介绍 一 下 。 

为 所 有 步骤 都 提供 更 好 的 至 少 一 次 处 理 


如 果 我 们 已 经 成 功 完成 了 前 两 个 步骤 ， 但 是 在 执行 第 三 个 步骤 时 失败 了 ， 会 出 现 什么 情况 呢 ?” 我 们 的 进程 可 能 会 朋 溃 ; 在 通 
知 外 部 系统 的 时 候 ， 元 组 可 能 会 出 现 超 时 。 不 管 怎样 ， 一 旦 这 样 的 情况 出 现 ，Storm 都 会 对 元 组 执行 回放 处 理 。 但 我 们 又 需要 做 
些 什么 来 应 对 这 种 情况 呢 ? 


在 处 理 信用 卡 之 前 ,我 们 应 该 确保 记录 系统 可 用 (如 前 所 述 ) ， 并 确认 订单 状态 尚未 处 于 “准备 友 贷 ”状态 。 如 果 订 单 尚 未 
准备 好 友 贷 ， 那 么 我 们 丈 按 正常 流程 进行 。 这 可 能 是 我 们 第 一 次 尝试 处 理 这 个 订单 ， 同 时 数据 库 也 已 经 正常 局 动 并 运行 中 。 如 果 
此 时 订单 处 于 “准备 友 贷 ”的 状态 ， 那 么 我 们 可 能 在 “更 新 订单 状态 ”和 “通知 外 部 系统 ”步骤 之 间 出 现 了 故障 。 在 这 种 情况 
下 ,我 们 希望 直接 跳 过 对 信用 卡 进行 支付 扣 球 的 操作 ， 和 直接 跳 转 到 “通知 外 部 系统 ”并 告知 相关 的 更 改 。 


如 果 我 们 能 控制 这 个 外 部 的 服务 系统 ， 那 么 可 以 友 起 一 个 请 求 来 顺序 执行 同样 的 共 等 操作 流程 ， 并 且 让 后 续 的 操作 直接 失 
效 。 如 果 不 能 ， 那 我 们 之 前 遇 到 的 因 芭 等 操作 缺失 而 导致 信用 卡 处 理 失败 的 情况 依然 会 存在 。 


基于 此 ， 我 们 的 处 理 思路 中 部 分 步骤 也 会 有 所 改变 ， 其 中 步骤 2 是 新 增 的 : 
1. 从 消息 队列 中 取出 订单 
2 确定 订单 是 否 被 标记 为 “准备 发 贷 ”， 并 按照 以 下 两 种 情况 分 别 执行 : 


. 如 果 订 单 被 标记 为 “准备 发 货 ， 请 跳 至 步骤 6。 


痊 
入 


. 如 果 订 单 没 有 被 标记 成 “准备 发 货 ， 继 续 步 骤 3。 


3. 通 过 外 部 信用 卡 授 权 服 务 器 ， 尝 试 对 信用 卡 执 行 授权 验证 。 
4. 如 果 调 用 服务 成 功 ， 更 新 订单 状态 。 
5. 如 果 调 用 服务 失败 ， 融 稍 后 重 试 。 


6. 通 知 独立 的 下 游 系统 ， 告 知 订单 已 经 完成 处 理 。 


通知 独立 的 
条 学 攻 汪 
完成 处 理 的 
订单 


订单 被 标 记 为 
“准备 发 员 ” 


验证 订单 是 否 
被 标记 为 
“准备 发 货 ” 


从 消 且 队列 
中 取出 订单 


订单 没有 被 标记 成 
“准备 发 货 ” 
外 部 信用 卡 
授权 服务 


尝试 对 信用 卡 
执行 授权 
验证 并 更 新 
订单 状态 


包含 当前 订单 状态 
授权 验证 成 功 的 数据 库 
并 更 新 订单 状态 


通知 独立 的 下 洲 
系统 已 经 完成 
处 理 的 订单 


图 4.9 ”一 个 电 商 信用 卡 授权 验证 流程 的 概念 性 解决 方案 ， 能 提供 更 好 的 至 少 一 次 处 理 的 机 制 
如 图 4.9 所 示 ， 这 些 更 新 的 步骤 中 新 增 的 几 步 被 突出 显示 。 
我 们 可 以 通过 以 下 几 种 方式 ， 将 以 上 解决 方案 映射 到 我 们 的 拓扑 中 。 
` 添加 一 个 用 于 执行 状态 验证 步骤 的 新 bolt， 我 们 命名 为 VetifyOtrdetStatus 。 
在 AuthorizeCreditCard bolt 中 执行 状态 验证 步骤 。 


我 们 选择 第 二 个 方案 ， 更 新 AuthorizeCreditCard bolt 用 于 执行 验证 步 又， 这 里 预 留 了 一 个 新 加 的 VerifyOrderstatus bolt 
作为 本 章 的 练习 。AuthorizeCreditCard 需 要 更 新 的 代码 如 代码 清单 4.12 所 示 。 


代 清 清单 4.12 ”更 新 AuthorizeCreditCard.java 用 于 在 处 理 前 加 入 状态 检查 


public void execute (Tuple tuple) { 我 们 不 仅 要 检查 订 


Order order = (Order) tuple.getValLlueByF1ield("ordez'" 1) ; 单 的 状态 ， 还 要 验证 
和 a 
了 | 系统 记录 功能 是 否 可 
if (orderDao.systemIsAvailable()) { 用 ， 如 前 所 六 
| | 了 
if (!orderDao.orderIsReadyToShip(order)) { < 一 3 
boolean isAuthorized = authorizationService.authorize (order).， 


if (isAuthorized) { 
orderDao.updateStatusToReadyToShip (order); 


} else { 
orderDao.updateStatusToDenied (order); 


| 


outputCollector.emit (tuple, new Values (OrdeLr) ) ; 


| 


outputCollector.ack (tuple); < 无 论 这 里 有 没有 

} else 1 出 现 错误 ， 始 终 应 
outputCollector.fail (tuple),; 答 输 入 的 元 组 
合 砷 HJy 7 


| 


} catch (ServiceException e) { 
outputCollector.fail (tuple) ; 


} 
| 


到 此 为 止 ， 我 们 是 否 已 经 完成 全 部 设置 了 ? 不 过 好 像 我 们 还 是 错过 了 一 些 和 东西 。 当 我 们 完成 J 单 处 理 操作 之 后 ， 不 能 到 此 束 
结束 ， 仍 然 需要 去 通知 外 部 系统 当前 的 进度 ， 即 使 “完成 ” 仪 仪 意味 痢 完 成 对 订单 的 检查 ， 看 看 是 人 否 可 以 准备 好 友 货 。 更 新 的 代 
码 部 分 如 代码 清单 4.13 所 示 ， 无 论 如 何 对 元 组 执行 “处 理 ” 操 作 ， 我 们 都 应 该 只 需要 癌 数 据 流 中 友 射 一 次 。 


程序 清单 4-13 ”更 新 AuthorizeCreditCardjava 用 于 在 无 论 订 单 是 否 &“ 处 理 ”， 依 然 友 射 一 个 元 组 


public voidq execute (Tuple tuple) { 


Order order = (Order) tuple.getValueByField("order").,， 
key | 
if (orderDao.systemIsAvailable()) { 
if (!orderDao.orderIsReadyToShip(order)) { 
boolean isAuthorized = authorizationService.authorize (oradaeLrr) ; 


if (isAuthorized) f{ 
orderDao.updateStatusToReadyToShip (order); 


} else { 
orderDao.updateStatusToDenied (order); 


} 
} 总 是 与 订单 一 起 发 射 


outputCollector.emit (tuple, new Values (order)); <- 志 元 组 ， 保 证 外 部 系统 知 
outputCollector.ack (tuple) ; 道 需要 做 点 什么 
} else { 


outputCollector.fail (tuple); 
| 
} catch (ServiceException e) { 
outputCollector.fail (tuple); 


| 
} 


到 此 为 止 ， 我 们 已 经 得 到 一 个 基本 完善 的 解决 万 案 了 ， 即 使 我 们 没有 实现 精确 地 处 理 一 次 机 制 ， 但 是 通过 在 


AuthorizeCreditCard bolt 中 增加 部 分 逻辑 ， 也 实现 了 至 少 一 次 处 理 的 机 制 。 当 你 在 设计 有 可 靠 性 需求 的 拓扑 时 ， 请 遵循 以 上 过 


程 。 


你 需要 尽 可 能 地 将 问题 具象 化 到 一 个 场景 ， 然 后 确定 你 需要 的 语义 是 人 至少 一 次 处 理 还 是 最 多 一 次 处 理 。 如 果 是 至 少 一 次 处 
理 ， 尝 试 去 查找 所 有 可 能 出 现 失败 的 地 方 ， 并 想 办 法 解决 这 些 间 题 


4.6 小结 


在 本 章 中 ， 你 学 到 了 
在 Stotm 中 可 以 实现 的 不 同 级 别 的 可 靠 性 : 
“最 多 一 次 处 理 。 
一 次 处 理 。 
“ 权 一 次 处 理 。 
` 不 同 的 问题 有 不 同 级 别 的 可 靠 性 需求 ， 作 为 开发 人 员 ， 你 需要 理解 问题 所 在 领域 对 可 靠 性 的 需求 。 
Storm 的 可 靠 性 由 4 个 主要 部 分 组 成 : 
一 个 可 靠 的 数据 源 以 及 一 个 对 应 可 靠 的 spout。 
` 一 个 锚 定 的 元 组 流 。 
“ 具备 知晓 元 组 执行 结果 并 且 能 通报 错误 的 拓扑 。 
` 具备 容错 机 制 的 Storm 集 群 基础 设施 (下 一 章 中 介绍 ) 。 
“ Storm 能 够 通过 跟踪 元 组 树 ， 来 判断 由 一 个 spout 发 射 的 元 组 是 否 被 完全 处 理 了 。 
“ 为 了 使 Storm 能 够 跟踪 元 组 树 ， 你 必须 将 输入 元 组 锁定 至 输出 元 组 ， 并 应 答 任 何 输 入 的 元 组 。 
` 将 元 组 失效 是 通过 超时 或 手动 触发 Storm 中 的 重 试 机 制 来 实现 。 
` 将 元 组 失效 可 以 基于 已 知 /可 重 试 或 者 未 知 的 错误 ,但 不 可 以 基于 已 知 / 不 可 重 试 的 错误 。 


一 个 spout 在 连接 到 可 靠 数 据 源 时 ， 必 须 能 显 式 地 处 理 和 重 试 故障 ， 以 便 能 真正 实现 消息 处 理 的 保障 机 制 。 


第 5 章 “拓扑 由 本 地 到 远程 的 实施 


本 章 要 点 : 


. Stoftm 集群 

- 基于 Stotm 集 群 的 容错 机 制 

. Stotm 集群 的 安装 

. 在 一 个 Stotm 集 群 上 部 署 和 运行 拓扑 
: Storm 的 UI 界面 以 及 其 主要 作用 


试想 以 下 场景 ， 你 负责 去 部 署 一 个 storm 拓扑 ， 基 于 公司 系统 中 记录 下 来 的 日 志 ， 分 析 实 时 事务 的 性 能 。 作 为 一 个 有 责任 心 
的 工程 师 ， 你 决定 按照 本 书 中 讲解 的 万 式 去 实施 拓扑 的 部 署 。 按 照 第 2 章 的 讲解 ， 你 使 用 Storm 的 核心 组 件 完 成 了 基础 拓扑 的 构 
建 ， 用 第 3 章 中 涉及 的 设计 模式 ,设计 了 拓扑 中 的 各 bolt 需 要 负责 的 逻辑 处 理 ， 紧 接着 按照 第 4 草 中 提供 的 信息 ， 为 流入 拓扑 的 所 
有 元 组 都 建立 了 至 少 一 次 处 理 的 运算 。 看 上 去 你 已 经 完成 了 所 有 的 工作 ， 只 需要 将 这 个 拓扑 挂 载 到 队列 里 ， 融 能 接收 录入 的 事务 
日 志 ， 等 待 结果 的 输出 ， 可 是 然后 呢 ? 


你 可 以 像 第 2 ~ 4 章 里 提 到 的 方式 ， 在 本 地 运行 你 的 拓扑 ， 但 这 样 做 不 可 能 实现 数据 量 和 处 理 速 度 的 扩展 ， 你 要 做 的 是 在 拥 
有 足够 处 理 生 产 数据 能 力 的 环境 下 ， 去 部 署 你 完成 的 拓扑 。 也 融 是 将 Storm 集群 放置 到 远程 ( 通 弟 称 为 生产 ) 环境 中 运行 ， 只 有 
这 种 环境 才能 提供 具备 处 理 生产 级 别 数据 的 能 力 。 


» 注意 
在 第 1 章 提 到 ， 体 量 决 定 了 流入 系统 的 数据 量 ， 速 度 决 定 了 数据 流入 系统 的 节奏 。 


在 本 地 运行 这 里 的 拓扑 并 且 模 拟 单个 进程 中 的 一 个 Storm 集 群 ， 主 要 用 于 验证 和 测试 我 们 的 开 友 结果 。 但 本 地 模式 不 支持 第 
3 章 讨 论 到 的 扩展 机 制 ， 也 更 不 能 保证 可 以 达到 第 4 章 中 提 到 的 生产 级 处 理 能 力 ， 而 一 个 真正 的 storm 集群 需要 具备 这 两 点 要 求 。 


本 章 将 首先 介绍 Storm 集 群 部 分 以 及 集群 所 扮演 的 重要 角色 ， 其 次 将 展开 Storm 对 容错 机 制 的 一 些 常见 问题 。 接 着 我 们 将 开 
学 习 如何 安 装 Storm 集 群 ， 并 在 这 些 集 群 上 部 署 、 运 行 你 的 拓扑 。 最 后 我 们 将 关注 一 些 用 于 监控 拓扑 状态 的 工具 : Storm 的 UI 
部 分 。 然 后 再 看 看 它 能 帮 你 解决 什么 问题 ， 具 体 细节 将 在 第 6 章 和 第 7 章 中 详细 介绍 。 


首先 就 从 Storm 集群 开始 ， 先 就 第 3 章 中 提 到 的 工作 结 点 做 一 些 展 开 。 


5.1 _ Storm 集群 


在 第 3 章 中 ， 我 们 简单 了 解 了 工作 结 点 ， 以 及 它 是 如 何 借助 执行 器 和 任务 在 JVM 上 运行 的 。 在 这 一 节 里 ， 我 们 将 更 深入 学 习 
一 下 ， 首 先 整 体 上 看 看 Storm 集 群 。 一 个 Storm 集 群 包含 两 种 类 型 的 结 点 : 主 (master) 绪 点 和 工作 (worker) 绪 点 。 一 个 主 
结 点 将 运行 一 个 ， 称 为 Nimbus 的 守护 进程 ， 而 每 个 工作 结 点 都 将 运行 程序 称 为 Supervisor 的 守护 进程 。 图 5.1 展 示 了 一 个 主 结 点 
和 4 个 工作 结 点 如 何 协同 工作 。 单 套 Storm 仅 支持 一 个 独立 主 结 点 ， 但 可 以 根据 你 的 需求 ， 支 持 不 同 数量 的 工作 结 点 (我们 将 在 
第 6 章 和 第 7 章 中 讨论 如 何 判断 结 点 需求 数 ) 。 


集群 的 一 个 主 结 点 ， 它 在 后 
台 运行 一 个 守护 进程 Nimbus 


一 个 集群 可 以 拥有 多 个 结 点 ， 每 个 结 
点 表示 一 个 物理 机 或 虚拟 机 ， 它 们 将 分 
别 运 行 在 针对 二 者 安 痛 的 操作 系统 上 


Storm 集群 


工作 结 点 工作 结 点 -A 
集群 可 以 拥有 多 个 工 
一 一 作 结 点 ， 每 个 工作 结 点 


工作 进程 | | 工作 进程 工作 进程 | | 工作 进 程 都 将 在 后 台 运 行 一 个 守 
护 进 程 Supervisor 


主 结 点 


工作 结 点 工作 结 点 


每 个 Supervisor 通过 监 


听 Nimbus 分 配 到 工作 结 点 
工作 进程 || 工作 进程 工作 进程 | | 工作 进程 上 的 任务 去 启动 或 结束 工 
作 进 程 


Nimbus 围绕 集群 发 布 代码 ， 每 个 工作 进程 都 是 一 个 
将 任务 指派 给 工作 绪 点 ， 监 控 “ JVM， 用 于 执行 拓扑 中 
寞 第 状态 ， 并 执行 Storm 的 UI spout 和 bolt 的 业务 迎 和 辑 


图 5.1 Nimbus 和 Supetrvisot 以 及 它们 在 Storm 集 群 中 的 分 工 


可 以 认为 主 结 点 是 一 个 控制 中 心 。 图 5.1 列 举 了 其 责任 沁 围 ， 这 里 也 将 是 你 运行 各 种 Storm 命 令 的 地 方 ， 包 括 active ( 激 


活 ) 、deactive (使 失效 ) 、rebalance (再 次 平衡 ) 以 及 kil (终止 ) 命令 (更 多 命令 操作 将 在 本 章 稍 后 讲 到 ) 。 同 时 ， 工 作 结 
点 也 是 spout 和 bolt 执 行 处 理 逻 辑 的 地 方 。 


Storm 集 群 里 另 一 个 大 模块 就 是 Zookeeper。Storm 依 赖 于 Apache Zookeeperl1 来 协调 Nimbus 和 Supervisor 之 间 的 通 


~ 
Me 


言 。 任 何在 Nimbus 和 Supervisor 之 间 协 调 的 状态 都 存放 在 Zookeeper 里 。 结 果 束 是 ， 如 果 Nimbus 或 者 一 个 Supervisor 朋 演 
了 ， 当 它们 恢复 的 时 候 ， 将 从 Zookeeper 中 读 取 之 前 的 状态 ， 让 Storm 结 点 整体 还 原 至 月 演 前 的 状态 。 


一 个 Zookeeper 结 点 集成 到 storm 集群 中 的 效果 如 图 5.2 所 示 。 我 们 已 经 从 这 张 图 上 移 除 了 工作 进程 ， 这 样 你 可 以 更 清晰 地 
关注 Zookeeper 是 如 何在 Nimbus 和 Supervisor 之 则 协调 通信 的 。 


Storm 集群 
用 于 协 贡 Nimbus 和 


Zookeeper 


后 点 集群 


二 
Zookeeper 结 氮 ] 和 
| 一 SUupervisor 


Zookeeper 缚 点 ] Supervisor 


| Supervisor 


图 5.2 Zookeeper 集群 和 它 在 Storm 集 群 中 的 角色 
在 本 书 余下 部 分 中 ， 如 果 再 次 提 到 “storm 集群 ”， 指 的 都 是 主 结 点 、 工 作 结 点 和 Zookeeper 绪 点 。 


尽管 主 结 点 和 Zookeeper 结 点 是 Storm 集 群 中 非常 重要 的 一 部 分 ， 但 我 们 现在 还 是 需要 切换 思维 ， 先 着 眼 于 工作 结 点 。 工 作 
结 点 是 spout 和 0bolt 执 行 处 理 的 地 万 ， 第 6 章 和 第 7 章 将 详细 讲解 如 何 围绕 工作 结 点 来 实现 优化 和 故障 排查 。 


第 6 章 和 第 7 章 将 分 析 在 什么 情况 下 你 需要 增加 一 个 工作 结 点 上 工作 进程 的 数量 ， 以 及 在 什么 时 候 可 以 适当 缩减 数 
中 也 会 讨论 如 何 基于 工作 进程 来 调 优 ， 并 详细 解释 工作 进程 中 的 各 个 细节 。 


jas 
启 
型 
鹿 


[1] http:/ /zookeepetr.apache.org/ 


59.1.1 解析 工作 结 点 


之 前 曾经 提 到 ， 每 个 工作 结 点 都 有 个 Supervisor 守 护 进 程 ， 用 于 省 理 指定 任务 的 工作 进程 ， 并 确保 其 处 于 运行 的 状态 。 如 果 
Supervisor 注 意 到 其 中 一 个 工作 进程 裔 演 了 ， 那 么 它 会 立刻 对 其 重 局。 那么 什么 是 工作 进程 呢 ? 我 们 提 到 它 其 实 是 一 个 J 人 VM， 但 
从 第 3 章 中 对 它 的 摘 述 来 看 ， 它 远 不 仅仅 如 此 简单 。 


每 个 工作 进程 都 将 执行 一 个 拓扑 的 子 集 ， 这 意味 着 每 个 工作 进程 都 归属 于 拓扑 中 的 一 个 特定 部 分 ， 而 且 每 个 拓扑 都 会 运行 一 
个 或 多 个 工作 进程 。 正 常情 况 下 ， 这 些 工 作 进 程 将 在 Storm 和 集群 所 部 署 的 不 同 设备 中 运行 。 

在 第 3 章 中 ， 你 已 经 了 解 了 什么 是 执行 器 (线程 ) 和 任务 (spout/bolt 的 实例 ) ， 我 们 也 讨论 了 一 个 工作 进程 (JVM) 是 如 
何在 一 个 或 多 个 执行 器 (线程 ) 上 运行 ， 每 个 线程 如 何 执行 一 个 或 多 个 spout/bolt 的 实例 (任务) 。 这 些 概 念 的 演示 如 图 5.3 所 


个 \。 


工作 结 点 


SUperV1SOT 


每 个 工作 进程 都 是 一 个 JVM ， 
可 以 拥有 一 个 或 多 个 执行 器 ， 每 
个 执行 闫 上 运行 一 个 或 多 个 任务 


执行 器 就 是 运 
行 在 一 个 JVM 
上 的 线程 


任务 就 是 一 个 spout 
或 bolt 的 实例 


图 5.3 ”一 个 工作 进程 包含 一 个 或 多 个 执行 器 ， 每 个 执行 器 包含 一 个 或 多 个 任务 
其 中 关键 的 几 个 点 是 : 
. 工作 进程 就 是 一 个 JVM。 
. 执行 器 就 是 在 JVM 中 的 一 个 执行 线程 。 
任务 就 是 在 JVM 上 一 个 执行 线程 中 的 一 个 spout 或 bolt 上 运行 的 实例 。 


了 解 这 些 映射 关系 对 于 理解 如 何 调 优 和 故障 排查 相当 重要 ， 例 如 ， 第 6 章 融 解释 了 为 什么 你 在 每 个 执行 器 上 需要 运行 多 个 任 


， 所 以 理解 执行 器 和 任务 之 间 的 关系 束 非常 重要 。 


iy 


为 了 进入 工作 结 点 、 工 作 进 程 、 执 行 器 和 任务 的 全 闭环 讨论 ， 我 们 需要 先 基于 第 4 草 中 的 信用 卡 授 权 验 证 的 拓扑 案例 ， 分 别 
展示 一 下 它们 的 上 下 文 天 系 。 


5.1.2 ”基于 信用 卡 授 权 拓 扒 的 上 下 文 来 理解 工作 结 点 


本 忆 将 展示 上 一 章 中 信用 卡 授 权 拓 扑 的 一 个 虚构 配置 ， 分 别 以 图 例 和 代码 来 帮助 你 理解 工作 进程 、 执 行 器 和 任务 三 者 数量 之 


间 的 天 系 。 这 个 虚构 的 配置 如 图 5.4 所 示 。 


工作 第 点 


Supervisor 


Rabbit Verify | |Verify 
MOPPOUt Order Order 
Status Status 


AUthorize | | Authorize Processed 
Credit Credit Order 


Card Card Not1ification 


图 5.4 对 假设 的 基于 多 个 工作 进程 、 执 行 器 和 任务 的 信用 卡 授 权 拓 扑 ， 分 解 其 工作 结 点 的 结构 


5.4 的 配置 可 以 基于 代码 清单 2.1 中 的 代码 来 实现 。 


程序 清单 5-1 虚构 Storm 集 群 案例 的 配置 


将 工作 进 Config config = new Config() ; 设置 每 个 元 组 树 


程 (JVM) 数 > Config.setNumWorkers (2) ; 在 自动 失效 前 需要 将 每 个 并 行 
从 a 性 ”其 
量 设置 为 2 config.setMessageTimeoutSecs (60) ; < 党 斌 的 时 间 Ee 
执行 器 (线程 ) 
洲 ! 屋 儿 二 、 
TopologyBuilder builder = new TopologyBuilder(); No 1， 
(线程 ) 数 buildqer.setSpout ("zabbitmq-spout'"，new RabbitMQSpout(), 1); < 一 ， ，、 
区 /| 二 丸和 设置 1 
量 设 置 为 1 
builder.setBolt ("check-status", new VerifyOrderStatus(), 1) 将 任务 
.ShuffleGrouping ("rabbitmq-spout") 数 (实例 ) 
.SetNumTasks (2).， < 设置 为 2 
将 执行 器 
(线程 ) ) 数量 上 builder.setBolt("authorize-card", new AuthorizeCreditCard(), 1) 将 任务 数 
设置 为 1 .ShuffleGrouping ("check-status") (实例 ) 设置 
.SetNumTasks (2); 为 2 


builder.setBolt ("notification", new En 1 ) < 
.ShuffleGrouping ("authorize-card") 
—i> .SetNumTasks(1).; 到 


将 执行 器 (线程 ) 
将 任务 数 数量 设置 为 1 
设置 为 1 


当 我 们 完成 了 对 配置 文件 Config 中 numWorkers 的 设置 ， 也 就 完成 了 在 这 个 拓扑 上 运行 的 工作 进程 配置 。 我 们 不 需要 强制 
让 两 个 工作 进程 都 按照 如 图 5.4 所 示 的 工作 结 点 来 启 停 ，Storm 会 根据 集群 中 运行 的 工作 进程 里 的 空 了 slot 情况， 来 决定 它们 的 启 
停 控制 。 


并 行 性 与 并 友 性 两 者 的 区 别 在 哪里 ? 


并 行 性 是 同时 执行 两 个 线程 ， 并 发 性 是 至 少 两 个 线程 在 执行 一 些 类 型 的 计算 处 理 。 并 发 性 不 需要 让 两 个 线程 同时 执行 ， 但 如 
果 时 间 上 出 现 同 步 ， 一 定 程度 上 也 模拟 了 并 行 性 处 理 。 


回顾 了 对 一 个 工作 结 点 的 分 解 后 ， 让 我 们 看 看 storm 如 何在 集群 的 多 个 组 件 之 上 提供 容错 机 制 。 


5.2 ”Storm 集 群 容错 中 的 快速 失 几 机制 


记得 第 4 草 中 讨论 的 4 个 用 来 提供 可 靠 性 的 因素 是 什么 吗 ? 
“ 一 个 可 靠 的 数据 源 和 与 之 相应 可 靠 的 spout。 
一 个 锚 定 的 元 组 流 。 
` 一 个 能 够 感知 每 个 元 组 是 否 已 经 完成 处 理 ， 以 及 广播 元 组 处 理 失败 信息 的 拓扑 。 
. 一 个 具备 容错 能 力 的 Storm 集 群 基础 设施 。 


现在 讨论 最 后 一 点 ， 一 个 具备 容错 能 力 的 Storm 集 群 基础 设施 。Storm 集 群 的 组 件 在 设计 初期 束 考 虑 了 容错 性 ， 所 以 对 于 
Storm 来 说 ， 在 解释 如 何 处 理 容错 情况 的 时 候 ， 更 像 是 在 解释 “ 当 仙 到 一 个 问题 时 ，Storm 会 怎么 做 ”。 表 5.1 列 举 了 对 容错 来 
品 最 重要 的 几 个 问题 。 


表 5.1 关于 容错 的 常见 困惑 


问题 解答 

Supervisor 将 目 动 重 局 ， 并 给 它 指 派 新 的 任务 。 所 有 没有 基于 既定 时 间 内 实现 应 答 
的 元 组 ， 将 由 spout 完全 回放 。 这 就 是 为 什么 spout 需要 文 持 回放 功能 (也 就 是 spout 
的 可 徘 性 )，spout 背后 的 数据 源 也 需要 具备 可 徘 性 (支持 回放 ) 

如 果 一 个 工作 结 点 在 重 
局 之 后 还 在 持续 朋 沉 呢 

如 果 运 行 工作 结 点 的 机 
佑 朋 沉 了 呢 


如 末 一 个 工作 结 点 朋 浊 
了 怎么 办 


Nimbus 将 重新 指派 该 任务 给 另外 一 个 工作 绪 点 


Nimbus 将 重新 指派 该 任务 给 男 外 一 个 可 正常 运行 的 机 融 


( 续 ) 

问题 解答 

因为 Nimbus 运行 在 Supervisor 上 (使 用 类 似 于 Daemontool 或 者 Monit 软件 的 工 
具 )， 它 们 都 可 以 在 重启 之 后 清除 之 前 的 故障 

因为 Supervisor 运行 在 男 外 一 个 Supervisor 之 上 (使 用 类 似 Daemontools 或 者 Monit 
软件 的 工具 )， 它 们 都 可 以 在 重启 之 后 清除 之 前 的 故障 

Nimbus 是 否 是 一 个 单 点 不 一 定 是 ， 因 为 Supervisor 和 工作 结 点 都 会 持续 运行 ， 但 你 会 丧失 重新 指派 工作 结 
故障 点 给 太 外 一 台 机 和 硕 上 或 者 重新 部 署 新 拓扑 的 能 力 


如 果 Nimbus 月 演 了 呢 


如 果 Supervisor 月 演 了 呢 


你 可 以 看 到 ，storm 在 场景 中 维持 一 种 快速 失败 (fail-fast) 的 机 制 ， 它 确保 设备 中 的 每 一 个 部 分 都 可 以 重启 ， 并 且 上 自我 重 
新 校正 ， 然 后 继续 运行 。 如 果 元 组 刚好 处 于 失效 期 间 的 某 个 环节 ， 那 么 它 将 上 自动 失败 。 


无 论 因为 错误 失效 的 设备 是 一 个 实例 (任务 ) ， 还 是 一 个 线程 (执行 器 ) ， 或 者 是 一 个 JVM (工作 进程 ) 以 及 一 个 VM ( 工 
作 结 点 ) ， 都 没有 关系 。 因 为 在 每 个 层面 上 ， 都 有 保障 机 制 来 确保 所 有 组 件 都 能 目 动 重 局 (因为 一 切 都 是 运行 在 Supervisor 之 上 
的 ) 。 


我 们 已 经 讨论 了 Storm 集 群 所 能 提供 的 并 行 性 和 容错 机 制 所 市 来 的 好 处 ， 那 么 如 何 确保 这 些 集群 可 以 持续 运行 呢 ? 


5.3 ”安装 Storm 集 群 


storm 的 Wiki (维基 ) 页 面 提供 了 十 分 全 面 的 安装 教程 。 配 置 一 个 Storm 结 点 可 以 按照 以 下 几 个 步骤 : 
1. 准 备用 于 配置 Zookeeper 的 人 资料， 搜集 如 何 维护 Zookeeper 集 群 的 资料 。 

2. 在 主 结 点 和 工作 结 点 的 机 器 上 安装 Storm 的 相关 组 件 。 

3. 在 主 结 点 和 工作 结 点 的 机 器 上 下 载 并 解压 缩 一 个 Storm 版 本 。 

4. 在 主 结 点 和 工作 结 点 上 通过 storm.yam | 文件 完成 配置 。 

5. 使 用 Storm 脚 本 启动 Nimbus 和 Supervisor 守 护 进 程 。 


接 下 来 一 一 展开 以 上 步骤 的 细节 。 


注意 


什么 是 基于 监督 下 的 进程 ? 它 其 实意 味 着 会 有 一 些 专门 的 监督 进程 来 管理 实际 运行 的 进程 。 因 此 ， 如 果 一 个 被 监督 的 进程 失 
败 了 ， 那 么 Supervisot 将 自动 重启 失败 进程 ， 这 也 是 Storm 能 提供 容错 机 制 的 关键 组 件 。 


5.3.1 配置 Zookeeper 集 群 


配置 Zookeeper 集 群 的 方法 不 在 本 书 的 探讨 沁 围 内 ， 你 可 以 在 Apache Zookeeper 的 项 目 页 上 获取 如 何 安 六 Zookeeper 的 
详细 指导 文档 ， 地 址 是 : http://zookeeper.apache.org， 按 照 上 面 的 步骤 配置 即 可 。 


但 在 运行 Zookeeper 的 时 候 ， 需 要 牢记 以 下 几 点 : 


“ Zookeepet 的 设计 宗旨 是 “快速 失败 ”， 也 就 是 说 如 果 出 现 错误 ， 而 且 无 法 从 错误 中 自动 恢复 ， 那 么 它 将 自动 关闭 服务 。 
这 与 Stotm 的 集群 在 搭配 上 好 像 并 不 是 很 契合 ， 为 Zookeepef 协 调 的 是 Nimbus 和 Supetvisot 实 例 之 间 的 通信 ， 正 因为 如 此 ， 我 们 必 
行 状态 ， 这 样 即使 一 个 Zookeepet 实 例 停 止 工 作 ， 整 个 集群 也 能 继续 执行 


须 有 一 个 监督 进程 ， 它 负责 管理 线 上 Zookeepet 实 例 的 运 
服务 。 这 个 监督 进程 将 分 别处 理 每 个 独立 Zookeepet 服 务 器 的 失败 故障 ， 确 保 Zookeepet 集 群 可 以 实现 自我 恢复 。 


因为 Zookeepet 是 一 个 长 期 运行 的 进程 ， 所 以 它 的 事务 日 志 将 变 得 非常 庞大 ， 这 很 有 可 能 导致 Zookeepet 面 临 磁盘 空间 不 足 
的 问题 。 所 以 就 非常 有 必要 设置 一 些 进程 ， 专 门 负责 日 志 的 压缩 (或 者 存档 ) 。 


5.3.2 ”在 Storm 的 主 结 点 和 工作 绪 点 上 安 委 依 赖 组 件 


接 下 来 ， 在 选 定 的 服务 器 设备 上 ， 为 Storm 安 北 相 天 依赖 组 件 ， 用 于 支持 Nimbus 和 Supervisor 的 运行 。 相 关 需 要 安装 的 依 
赖 组 件 清单 如 表 5.2 所 示 。 


表 5.2 Stotm 主 结 点 和 工作 结 点 外 部 组 件 需求 


依赖 性 为 什么 需要 下 载 地 址 
Storm 需要 在 JVM 上 运行 ， 而 目前 Storm 最 新 版 本 需要 | www.oracle.com/us/technologies/ 


Java 0 十 RE . 
Java 6 的 运行 环境 Java/overview/index.html 


Storm 的 标准 命令 行 工具 需要 Python 环境 ， 并 且 也 要 在 
Java 下 执行 


Python 2.6.6 https://www.python.org/downloads/ 


一 旦 完成 了 这 些 外 部 环境 的 安 羔 ， 束 可 以 在 满足 要 求 的 服务 器 上 部 署 Nimbus 和 Supervisor， 然 后 安装 Storm 了 。 


5.3.3 ” 安 窟 Storm 到 主 结 点 和 工作 结 操 


Storm 的 安装 过 程 可 以 查看 线 上 文档 ， 地 址 是 : http://storm.apache.org/downloads.html。 在 本 书 中 ， 我 们 使 用 的 版 本 
是 apache-storm-0.9.3， 你 需要 分 别 在 每 从 服务 器 上 下 载 并 解压 缩 相同 版 本 Storm release 的 zip 包 ， 安 六 路 径 没 有 要 求 ， 可 以 
类 似 这 样 的 地 址 : /opt/storm。 解 压缩 后 的 /opt/storm 目 录 内 容 如 图 5.5 所 示 。 


CN opt ,storm 
[1] bin 
[=| storm 
[=| storm-config.cmd 
[storm-local 


Storm.cmd 


[ 门 conf 
storm.Yyaml 

站 1ib 

[] logback 

[1] logs 

[] public 

CHANGELOG .md 

DISCLAIMER 


LICENSE 


|=| NOTICE 


[= README .markdown 


RE | 丽 ET 
| i i 有- 


图 5.5 ”将 Storm release 压 缩 包 和 解压 后 的 内 容 


图 中 有 两 个 文件 需要 在 本 章 里 特别 关注 的 ,分 别 是 /opt/storm/bin/storm 和 /opt/storm/conf/storm.yaml。 首 先 看 看 
storm.yaml 文 件 和 它 的 作用 。 


5.3.4 ”通过 storm.yaml 配 置 主 结 点 和 工作 结 点 


Storm release 压 缩 包 中 包含 了 一 个 conf/storm.yaml 文 件 ， 用 于 配置 Storm 的 守护 进程 。 如 果 你 需要 对 其 中 一 部 分 参数 重 


新 定义 ， 可 以 对 配置 进行 重 写 ,例如 有 很 多 默认 是 指向 “localhost” 的 ， 这 个 文件 的 重 写 配置 可 以 参考 defaults.yamlll]。 一 些 
初始 的 配置 选项 如 表 5.3 所 示 ， 你 可 能 需要 对 这 部 分 做 一 些 重 写 ， 才 能 保证 你 的 Storm 集 群 可 以 正常 启动 、 运 行 。 


表 5.3 ”在 安装 Storm 的 过 程 中 ， 需 要 对 storm.yaml 文 件 重 写 的 属性 


属性 描述 默认 值 
storm.zookeeper. 用 于 文 持 Storm 集群 的 Zookeeper 集 群 中 |storm.zookeeper .servers : 
servers 的 主机 文件 列表 - "localhost" 
storm.zookeeper. 如 果 你 的 Zookeeper 集群 需要 配置 与 默认 | storm.zookeeper .port: 
port 值 不 一 样 的 端口 2181 


Nimbus 和 Supervisor 守护 进程 用 于 存储 少 
量 状态 时 使 用 的 目录 ， 你 需要 在 每 台 服 务 绩 
上 建立 记 这 些 目 录 并 赋予 相应 的 权限 ， 以 便 能 
正常 运行 Nimbus 和 工作 结 点 


storm.local .dir storm local IE "stormlocal™ 


va 1ibrarvepaths /vsr/ 
Java.library.path Java 的 安 闻 位 置 LSCaJ as Loealr 
TL Sr LL1B" 


nimbus .host 安装 Nimbus 的 主机 名 nimbus.host: "localhost" 


ee es ur | SUPSrvViISOr .Slots portes: 
对 于 每 台 工作 服务 器 ， 用 于 接收 消息 的 端 | - 


a - 6700 
supervisor.slots. 口 ， 而 在 每 台 运 行 Storm 工作 结 点 的 服务 天 as 
ports 上 E， 可 用 的 端口 数量 将 决定 Storm 在 每 个 工 i 

作 绪 点 机 硕 上 运行 的 工作 进程 效 es 


你 需要 对 集群 中 的 每 个 结 点 都 更 新 一 下 配置 ， 如 果 有 大 量 的 工作 结 点 ， 这 样 的 工作 量 会 很 烦 见 而 之 味 。 为 了 解决 这 个 问题 ， 


推荐 使 用 一 些 外 部 工具 (例如 Puppetl 针 ) 来 自动 实现 对 每 个 结 点 的 部 署 和 配置 。 


[1] 可 以 在 如 下 地 址 获取 默认 的 defaults.yaml 文 件 : https://github.com/apache/storm/blob/master/conf/defaults.yaml。 


[2] http:/ /puppetlabs.com/。 


5.3.5 ”在 监督 机 制 下 启动 Nimbus 和 和 Supervisor 


之 前 已 经 提 到 ， 在 监督 机 制 下 运行 守护 进程 是 用 于 设置 Storm 集 群 的 关键 步骤 ， 而 这 个 监督 进程 还 允许 系统 实现 容错 。 那 
， 这 到 底 意 味 着 什么 呢 ? 又 是 怎么 做 到 的 呢 ? 


愉 


Storm 是 一 个 “快速 失败 ”的 系统 ， 这 意味 着 任何 Storm 进 程 在 遇 到 未 知 的 错误 时 都 会 停止 。Storm 中 的 任何 进程 都 可 以 在 
任意 时 间 点 安全 停止 又 能 在 进程 重 局 时 恢复 ， 而 这 一 切 容 错 能 力 都 归功 于 在 监督 机 制 下 去 运行 进程 。 正 因为 如 此 ，Storm 守 护 进 
程 中 的 故障 不 影响 拓扑 。 那 么 在 监督 机 制 下 运行 storm， 需 要 执行 以 下 几 个 命令 。 


. 启动 Nimbus: 在 主 结 点 服务 器 上 ， 基 于 监督 机 制 执行 bin/stormnhimbus。 
` 启动 Supervisor: 在 每 台 工 作 服 务 器 上 ， 基 于 监督 机 制 执 行 bin/stotm supetvisot。 
. Stotm UI: 在 主 结 点 服务 器 上 ， 基 于 监督 机 制 执行 bin/storm ui。 


运行 Storm 的 后 人 台 程 序 是 配置 storm 集群 的 最 后 一 步 ， 当 所 有 配置 完成 后 局 动 服务 ， 你 的 集群 融 可 以 开始 接纳 拓扑 入 驻 了 。 
接 下 来 ， 融 让 我 们 来 看 看 如 何在 一 个 Storm 集群 上 运行 你 目 己 的 折 扑 。 


5.4 在 Storm 集群 上 运行 拓扑 


上 一 章 讨论 了 如 何在 本 地 运行 自己 的 拓扑 ， 这 么 做 对 学 习 Storm 的 基础 知识 很 有 帮助 ， 但 如 果 想 让 Storm 为 你 提供 生产 价值 
(特别 是 确保 每 一 行 消息 都 能 以 并 行 性 来 执行 处 理 ) ， 残 需要 实现 一 个 远程 的 Storm 集 群 。 这 一 节 将 展示 如 何 基 于 第 4 草 中 信用 
卡 授权 的 拓扑 案例 ， 增 加 部 分 代码 丈 实 现 远程 部 署 ， 大 概 步骤 如 下 : 


. 回顾 一 下 拓扑 组 件 的 相关 代码 。 
` 演示 如 何在 本 地 模式 下 执行 拓扑 的 代码 。 
演示 如 何在 一 个 远程 Storm 集 群 中 执行 拓扑 的 代码 。 


演示 如 何 打 包 并 部 署 代码 至 远程 Storm 集 群 。 


5.4.1 重新 考虑 如 何 将 折 扑 组 件 组 合 在 一 起 


在 正式 讨论 如 何 实现 本 地 模式 和 远程 模式 下 运行 拓扑 之 前 ， 先 快速 回顾 一 下 在 第 4 章 中 将 信用 卡 授 权 案 例 的 组 件 组 合 在 一 起 
的 代码 以 及 相 天 上 下 文 。5.1.2 节 已 展示 了 部 分 代码 ， 接 下 来 将 以 结构 化 的 格式 来 演示 更 多 详情 ， 如 代码 清单 5.2 所 示 。 


程序 清单 5-2 用 于 构建 信用 卡 授 权 的 拓扑 代码 CreditCardTopologyBuilder.java 


public class CreditCardTopologyBuilder f 
public static StormTopology build() f 
TopologyBuilder builder = new TopologyBuilder(); 


builder.setSpout ("rabbitmq-spout", new RabbitMQOSpout(), 1).，; 


builder.setBolt ("check-status", new VerifyOrderStatus(), 1) 
.ShuffleGrouping ("rabbitmqgq-spout") 
.SetNumTasks (2) ; 


builder.setBolt ("authorize-card", new AuthorizeCreditCard(), 1) 
.ShuffleGrouping ("check-status") 


.SetNumTasks (2).， 
builder.setBolt ("notification'", new ProcessedOrderNotification(), 1 


.ShuffleGrouping ("authorize-card") 
.SetNumTasks (1) ; 


return builder.createTopology () ; 


我 们 将 建立 拓扑 的 代码 封装 在 CreditCardTopologyBuilder.java 中 ， 因 为 无 论 是 在 本 地 ， 还 是 在 远程 运行 storm 集群 ， 这 部 
分 代码 都 不 会 变动 了 。 这 和 第 3 章 中 提 到 的 方式 类 似 ， 好 处 残 是 无 论 在 任 章 地 方 需要 实现 这 个 拓扑 的 构造 ， 都 不 用 重复 调用 同样 
的 一 段 代 码 了 。 


既然 已 经 有 了 构建 拓扑 的 代码 ， 接 下 来 将 展示 如 何在 本 地 完成 构建 并 且 运 行 拓扑 。 


5.4.2 ”在 本 地 模式 下 运行 拓扑 


本 地 模式 最 适用 于 拓扑 的 开 友 阶段 ， 它 允许 你 在 本 地 机 器 上 模拟 一 个 运行 中 的 Storm 和 集群 ， 以 便 实现 拓扑 的 快速 开 友 和 测试 
验证 。 这 样 的 好 处 是 在 代码 层面 可 以 更 灵活 地 实现 调整 ， 以 及 对 一 个 运行 中 的 拓扑 进行 功能 上 的 验证 测试 。 尽 管 如 此 ， 本 地 运行 
拓扑 的 缺点 如 下 : 


: 你 无 法 实现 和 远程 Stotm 集 群 类 似 的 并 行 性 ， 这 让 并 行 性 配置 的 测试 异常 艰难 ， 但 对 于 本 地 模式 来 说 也 不 是 不 可 能 。 
: 本 地 模式 不 会 暴露 潜在 的 序列 化 问题 ， 因 为 Nimbus 会 尝试 对 spout 和 bolt 的 实例 按照 工作 结 点 分 别 执 行 序列 化 操作 。 


代码 清单 3.3 展 示 了 类 LocalTopologyRunner 的 代码 细 万 ， 其 中 一 个 main () 万 法 将 在 本 地 运行 我 们 在 代码 清单 5.2 中 构建 
的 拓扑 。 


程序 清单 5-3 ”用 于 在 本 地 集群 上 运行 拓扑 的 LocalTopologyRunner.java 


public class LocalTopologyRunner { 
public static void main(String[] args) { 


在 本 地 运 
一 > StormTopology topology = CreditCardTopologyBuilder.build(); 行 时 一 般 都 
村 一 般 都 
使 用 Credit- oe 
, 运行 在 调试 
CardTopology- Config config = new Config() ; 简 
Builder 的 config.setDebug (上 true) ; < 十 (Gebug) 
ea ed 式 下 ， 以 了 
方法 来 构建 拓扑 a 
LocalCluster cluster = new LocalCluster().; < 解 内 部 工作 
cluster.submitTopology ("local-credit-card-topology", 原理 的 细 市 
vontid., 
topology); 在 本 地 内 存 中 
} 模拟 Storm 集群 
} 问 本 地 集群 提交 拓 


扑 ， 传 参 包 括 拓 扑 的 
名 称 、 配 置 和 拓扑 


你 应 该 会 对 以 上 代码 很 眼熟 吧 ， 但 我 们 在 这 想 要 强调 的 是 ， 需 要 一 部 分 代码 可 以 实现 将 拓扑 提交 人 至 远程 的 Storm 集 群 上 。 痒 
运 的 是 ， 无 论 提交 本 地 还 是 远程 ， 代 码 内 容 上 都 没有 太 大 区 别 ， 接 下 来 束 详 细 看 看 。 


5.4.3 ”在 一 个 远程 Storm 集 群 上 运行 拓扑 


用 于 本 地 运行 和 在 远程 运行 拓扑 的 代码 其 实 很 类 似 ， 唯 一 的 区 别 在 于 代码 中 对 拓扑 提交 至 集群 的 对 象 选择 。 另 外 ， 还 需要 做 
适当 的 配置 调整 ， 因 为 本 地 模式 的 一 些 功能 可 能 不 支持 远程 模式 (例如 消息 的 并 行 性 和 保障 处 理 ) ， 如 代码 清单 3.4 所 示 ， 需 要 
调用 一 个 类 RemoteTopologyRunner 中 的 代码 。 


程序 清单 5-4 ”用 于 将 拓扑 提交 至 远程 集群 的 类 RemoteTopologyRunner 


public class RemoteTopologyRunner { 
public static void main(String[] args) f{ 


上 起 >: 
> StormTopology topology = CreditCardTopologyBuilder.build().,; 配置 工作 进程 
| (JVM) 数量 为 
使 用 Credit- a 
Config config = new Config() ; 2， 这 也 是 仅 限 
CardTopology -— | _ 
Builder 的 方法 config.setNumWorkers (2),， < 于 在 使 用 远程 集 
2 Pe config.setMessageTimeoutSecs (60) ; < 群 中 的 拓扑 时 ， 
外 构 奸 耻 4 一 
才 会 进行 配置 的 
StormSubmitter.submitTopology ("credit-card-topology", 参数 
config, 
topology); OC— 
} 配置 一 棵 元 组 树 
使 用 StormSubmitter 所 _ WA 
在 自动 失效 前 的 有 


远程 集群 提交 拓扑 ， 传 参 包 


效 时 间 
括 拓 扑 的 名 字 、 配 置 和 拓扑 


你 可 以 看 到 ， 唯 一 的 区 别 惑 是 在 于 部 分 配置 ， 以 及 提交 的 方法 用 StormSubmittersubmitTopology 蔡 换 了 


LocalCluster.submitTopology。 
[ 
©, 


我 们 已 经 通过 3 个 不 同 的 类 (CreditCardTopologyBuilder、LocalTopologyRunner 和 RemoteTopologyRunner) 分 别 展 示 了 如 何 构 
建 、 在 本 地 运行 和 在 远程 运行 拓扑 的 方法 ， 无 论 你 是 否 也 采取 类 似 方式 ， 我 们 在 所 有 自己 实际 使 用 的 拓扑 上 都 是 按照 这 种 流程 来 


实现 的 。 


既然 我 们 已 经 完成 了 在 一 个 远程 集群 上 运行 拓扑 的 代码 ， 接 下 来 项 看 看 在 物理 层面 上 ， 如 何 实现 这 举人 代码， 让 storm 运 行 起 


5.4.4 “在 一 个 远程 storm 集群 上 部 署 拓 扑 


我 们 已 经 不 止 一 次 提 到 部 署 (deploy) 这 个 词 了 ， 那 么 在 远程 上 部 署 拓扑 究竟 需要 做 些 什 么 呢 ? 这 里 提 到 的 部 署 ， 是 需要 
先 将 一 个 包含 编译 完成 的 拓扑 JAR 包 复制 到 目标 物理 机 上 ， 并 在 安装 好 的 Storm 上 完成 配置 ， 让 其 运行 起 来 。 一 个 解压 缩 后 的 
Storm release 压 缩 包 内 容 如 图 5.6 所 示 。 


/Opt/ storm 


[| bin 


= storm 


CD cont 


= storm.YyYaml 
1 lib 
[1 logback 


1 可 S 

PUDLILC 
CHANGELOG .md 
DISCLATIMER 
LICENSE 

NOTICE 

README .markdown 


RELEASE 


yy 


图 5.6 ”解压 缩 后 的 Storm release 压 缩 包 内 容 


你 需要 确保 更 新 了 /opt/stormy/conf/storm.yam| 文 件 ， 这 样 nimbus.host 才 能 正确 匹配 对 应 地 址 。 接 着 还 需要 检查 一 
下 /opt/storm/bin/storm 文 件 ， 这 是 用 于 部 署 拓 扑 JAR 包 到 远程 集群 上 的 执行 器 。 在 部 署 拓扑 时 使 用 的 命令 如 图 5.7 所 示 ， 其 中 
需要 注意 执行 Storm 时 使 用 的 是 绝对 路 径 ， 指 向 的 是 /opt/storm/bin/storm。 如 果 你 不 希望 这 么 做 ， 也 可 以 将 /opt/storm/bin 
配置 到 你 的 PATH 中 ， 这 样 就 可 以 在 服务 器 上 任意 位 置 的 命令 行 中 执行 storm 命 令 了 。 


/opt/storm/bin/storm ]ar <path-to-topology-Jar> <topology-main-class> 


-一 -一 


用 于 实现 连接 Nimbus 拓扑 JAR 包 的 物理 位 置 ”main 类 的 完整 类 名 ， 在 该 类 
演示 中 ， 这 里 应 该 填 的 全 称 是 


RemotelTopologyRunner.Java。 
图 5.7 ”用 于 在 Storm 和 集群 上 部 着 拓扑 的 代码 


在 完成 需要 执行 的 命令 (如 图 5.7 所 示 ) 后 ,拓扑 会 局 动 并 运行 在 Storm 集 群 上 。 一 旦 拓扑 运行 起 来 了 ， 如 何 才 能 知道 它 是 


真 的 按照 预期 在 工 作 并 传输 数据 呢 ? 接 下 来 我 们 融 来 看 看 Storm UI。 


5.5 _ Storm UI 及 其 在 集群 中 的 角色 


Storm UI 其 实 是 Storm 集 群 和 独立 拓扑 中 的 诊断 角色 ， 如 同 5.3.5 节 中 所 描述 的 ， 在 Nimbus 上 通过 运行 命令 /bin/storm ui 
即 可 启动 Storm Ul。 其 中 ， 在 defaults.yaml 文 件 中 有 两 个 属性 可 用 于 配置 Storm U1: 


1.nimbus.host 一 一 Nimbus 服 务 器 的 主机 列表 。 

2.ui.port 一 一 用 于 支撑 Storm UI 的 端口 数 (默认 配置 是 8080) 。 

一 旦 运行 起 来 了 ， 从 网 页 浏 哆 器 中 输入 http://{nimbus.host}:{ui.port} 即 可 获取 Storm UI: 
其 中 ，Storm Ul 包含 几 个 部 分 

" 集群 的 概要 展示 。 

- 每 个 独立 拓扑 的 概要 展示 。 


` 每 个 spout 和 bolt 的 展示 。 


每 个 部 分 将 以 不 同 的 粒度 水 平 ， 分 别 展示 Storm 集 群 的 各 相关 部 分 信息 。Cluster Summary (集群 概要 ) 界面 基本 上 体现 了 
Storm 集群 的 全 部 情况 ， 如 图 5.8 所 示 。 


点 击 一 个 特定 的 拓扑 链接 (如 图 5.8 所 示 ， 例 如 github-commit-count) ， 可 以 进入 该 拓扑 的 概要 界面 ， 这 里 的 信息 将 主要 
包含 措 定 拓扑 的 运行 情况 ， 如 图 5.9 所 示 。 


5.5.1 Storm Ul: Storm 集 群 概要 


Storm Cluster Summary 包 含 4 个 部 分 ， 如 图 5.10 所 示 。 


每 个 部 分 都 将 分 别 展 示 以 下 几 个 部 分 的 概要 。 


所 | 齐名 | 口 Iocalhost8080/index.html 


Storm UI 


Cluster Summary 
本 Version Nimbus uptime Supervisors Used slots 
Storm 集 和 群 0.9.3 1m 29s 1 4 


二 疆 占 2 
土 纳 总 工作 结 所 Topology SUITIITIarY 


Nimbus Supervisor Name ld Status 


github-commit-count github-commit-count-1-1422409540 ACTIVE 
工作 进程 | | 工作 进程 
Supervisor summary 


Id Host 


903a945d-a58c-4203-9cea-4017f35ec0b5 192.168.1.6 


Nimbus Configuration 


Key Value 


dev.zookeeper.path ftmp/dev-storm-zool| 
图 5.8 ” Cluster Summaty 界 面 展示 了 整个 Stotm 集 群 的 各 部 分 细节 


提交 数 统计 拓扑 TH 


,i 尼 | — localhost:8080/topology.html?id=github-commit-count-1-1422 
| Storm UI 
"064874b nathan@Qexample.com" 
Topology summary 
Name Id 
github-commit-count github-commit-count-1-1422409540 
Topology actions 
te a BE 
Topology stats 
Window Emitted Transferred 
10m Us 41400 340 
3h Om Os 400 340 
1d Ch Om Os 400 340 
All tne 400 340 
Spouts (All time) 
Id Executors Tasks Emitted 
commit-feed-listener 1 1 180 
Bolts (All tme) 
Id Executors Tasks Emitted Transferred 
_ acker 4 4 20 0 
email-counter 1 1 20 0 
更 新 email 的 email-extractor 1 1 180 160 
计数 Topology Visualization 


Topology Configuration 
Key 


dev.zookeeper.path 


图 5.9 Topology summary 界 面 展示 了 指定 拓扑 的 概要 


~ localhost:8080/index.html 


Ce : 
Storm UI 
提 供 Storm 集 
性 的 概要 信息 Cluster Summary 
"Meh Version Nimbus uptime Supervisors Used slots 
0.9.3 7m 29s 1 4 
| 出 部 署 在 当前 
集群 的 全 部 拓扑 POY Sy 
和 Name ld Status 
github-commit-count github-commit-count-1-1422409540 ACTIVE 
列 出 当前 集群 中 
的 全 部 Supervisor Supervisor summary 
ld Host 
903a948d-a58c-4203-9cea-4017135ec0b5 192.168.1.6 
列 出 当前 集群 中 
—— Nimbus Configuration 
的 全 部 配置 参数 Vp 
/tmp/dev-storm-zookeeper 


dev.zookeeper.path 


图 5.10 Storm UI 中 展示 的 Cluster Summaty 界 面 堆 图 


能 会 注意 到 这 里 的 slot ( 槽 ) 


集群 概要 
Cluster Summary 部 分 提供 了 一 个 关于 Storm 集 群 的 小 而 精 的 概要 信息 ， 如 图 5.11 所 示 ， 你 可 能 会 ; 
那么 一 个 占用 两 个 slot 的 集群 意味 着 在 这 个 集群 上 有 两 个 运行 中 的 工作 进程 。 如 图 5.11 所 


示 ， 每 一 列 显示 更 多 详细 信息 
Nimbus 的 使 用 中 的 slot 数量 ， 总 的 slot 数量 ， 这 该 集群 上 使 用 
这 和 意味 看 该 集群 上 有 两 ”意味 看 该 集群 上 上 总共 ”中 的 任务 (spout/ 

个 运行 中 和 进程 可 以 ee 进程 ”bolt a 数量 


参数 ， 以 及 每 个 slot 对 应 的 工作 进程 。 


运行 时 长 


Cluster Summary | 
Version Nimbus uptime Supervisors Used slots Free slots Total slots 
一 
空余 的 ,| 数量 ， 这 总 sa 
用 中 的 执行 各 


该 集群 上 
Supervisor ” 味 着 该 集群 上 有 超过 两 
的 数量 个 可 以 运行 的 工作 进程 ”( 线 程 ) 数量 


当前 运行 Storm 
Storm UI 中 Cluster Summaty 界 面 上 的 Clustef Summaty 部 分 截图 


集群 的 版 本 号 


图 5.11 


拓扑 概要 
拓扑 概要 (Topology summary) 列举 了 全 部 部 署 在 该 集群 上 的 拍 扑 ， 如 图 ?5.12 所 示 ， 在 这 里 你 可 以 看 到 更 多 细节 信 


Storm 指派 拓扑 的 运行 拓扑 的 执行 天 
给 拓扑 的 ID 时 长 (线程 ) 数量 


Uptime Num workers| | Num executors | | Num tasks 
18s 1 5 5 
9m 52S 1 4 


一 ) 


Topology summary 
Name > 


credit-card-authorization 


github-commit-count 


\ UF 


拓扑 的 名 称 ， 在 Storm-Submitter 当前 拓扑 的 拓扑 的 工作 进 拓扑 的 任务 ( spout/ 
submitTopology 方法 中 定义 状态 程 (JVM) 数量 。 “bolt 实例) 数量 


图 5.12 Stotm UI 中 Cluster Summary 界 面 上 的 Topology summary 部 分 


该 Supervisor 结 点 上 使 用 中 


的 slot 数量， 该 Supervisor 运 
Supervisor 结局 行善 两 个 丁 作 进程 
的 运行 时 长 
Supervisor SUiMmimnary 
Id 


459bb8f0-92cf-48b1-bdfc-cd99f0c5a3e8 


Storm 指派 给 Supervisor 的 ID Supervisor 该 Supervisor 结 点 上 的 
皖 点 的 卫 地 址 slot 数量 ， 该 Supervisor 可 
以 总 共 运 行 4 个 工作 进程 


图 5.13 Storm UI 中 Cluster Summary 界 面 上 的 Supervisor summaty 部 分 
Supervisor 概 要 


Supervisor 概 要 列 出 了 该 集群 上 的 所 有 Supervisor， 同 时 ， 如 图 5.13 所 示 ， 你 可 能 会 注意 到 slot 部 分 ， 以 及 对 应 在 特定 
Supervisor 结 点 上 的 工作 进程 。 图 5.13 展 示 了 你 可 以 查看 到 的 完整 细节 。 


Nimbus 配 置 


Nimbus 配 置 列 出 了 在 defaults.yaml 中 定义 的 配置 信息 ， 以 及 人 在 storm.yaml 中 重 写 的 参数 信息 。 图 5.14 所 示 展 示 了 你 可 以 
查看 到 的 完整 细节 。 


Nimbus Configuration 


Key < |Value 
dev.zookeeper.path /tmp/dev-storm-zookeeper 
drpc.childopts -AMmX768m 
drpc.invocations.port 37793 
drpc.port 3772 
drpc.queue.SIZe 128 
drpc.request.timeout.secs 600 
mrnr wmrker thraarle RA 
Nimbus 配置 项 Nimbus 配置 项 的 鸡 认 值 


可 以 在 defaults.yaml 中 和 定 
义 ， 或 重 写 storm.yaml 文件 
图 5.14 Storm UI 中 Cluster Summaty 界 面 上 的 Nimbus Confi guration 部 分 


在 了 解 了 集群 概要 的 各 部 分 信息 之 后 ， 我 们 接 下 来 要 看 看 拓扑 部 分 的 界面 展示 。 可 以 通过 单 击 列表 上 的 拓扑 名 称 ， 进 入 该 拓 
扑 的 详细 信息 展示 中 。 


5.5.2 ”Storm Ul: 独立 拓扑 概要 


每 个 独立 拓扑 的 概要 展示 界面 如 图 5.15 所 示 。 


芭 二 名 || localhost:8080/topology.html?id=github-commit-count-1-1. 


Storm UI 


提供 拓扑 的 
概要 信息 


一 Topology summary 


Name Id 
a ithub-commit-count github-commit-count-1-1422409540 
为 执行 多 个 Storm : 
命令 提供 了 一 个 UI 一 一 一 > Topology actions 
展示 了 拓扑 层面 上 - Topology stats 
的 家 证 全 A 疯 静 态 信 = Window . Emitted Transferred 
10m 08 A400 340 
3h Om Os A400 3d0 
1d Oh Om os 400 340 
All time 400 340 
展示 了 拓扑 中 全 部 
的 殉 态 信 自 一 Spouts (All time) 
spout 。 前 仿 FH Es Id Executors Tasks 
COMmMit=Tesd=bstener 1 1 
展示 了 拓扑 中 全 部 
的 朝 太 信 自 四 Bolts (All time) 
bolt 的 评 仿 信息 时 Executora Tasks Emitted Transferred 
_ ackear 二 是 ?0 0 
amail-counter 1 1 20 | 
emall-extractor 1 1 180 1680 


Topology Visualization 


列 出 当前 拓扑 中 的 
全 部 配置 参数 OPOIOGQY oNgUraonNn 


Key 
tev.zookeeper. path 


图 5.15 ”Storm UI 中 的 Topology summary 截 图 


界面 中 的 每 个 区 域 都 包 合 以 下 细节 。 


Storm 指派 给 拓扑 的 拓扑 的 执行 天 
拓扑 的 ID 运行 时 长 (线程 ) 数量 


Topology summary 


Name Id Status Uptime Num workers Num executors| |Num tasks 
github-commit-count github-commit-count-1-1401041352| |ACTIVE 12m 34s| |1 4 4 


拓扑 的 名 称 ， 在 当前 拓扑 的 拓扑 的 工作 拓扑 的 任务 
StormSubmittersubmit- 状态 进程 (JVM) 数量 (spout/bolt 实例 ) 数量 


Topology 的 方法 中 定义 
图 5.16 ”Storm UI 中 Topology summary 界 面 上 的 Topology summary 部 分 


拓扑 概要 

拓扑 概要 部 分 提供 了 一 个 关于 你 的 拓扑 小 而 精 的 概要 信息 ， 如 图 5.16 所 示 ， 这 个 区 域 的 每 一 列 都 将 展示 对 应 的 详细 信息 ，。 
拓扑 动作 

拓扑 动作 (Topology actions) 部 分 将 在 界面 中 展示 拓扑 的 激活 、 取 消 激活 、 重 平衡 和 终止 的 状态 ， 这 些 动作 的 详细 信息 


如 图 5.17 所 示 。 


Topology actions 


Activate Deactivate Rebalance Kll 


激活 的 拓扑 spout， ”未 激活 的 拓扑 首先 取消 激活 的 拓扑 ， 首先 取消 激活 的 
消息 流 开始 传人 拓扑 ”spout， 消 息 流 停 ”然后 被 集群 重 分 配 至 下 ”拓扑 ， 然 后 关闭 该 
目 传 入 拓扑 一 个 工作 结 点 ,拓扑 返 ”工作 结 点 ， 并 清除 
回 它 的 上 一 个 激活 状态 ”它们 的 状态 
图 5.17” Storm UI 中 拓扑 的 动作 信息 部 分 截图 


拓扑 统计 

拓扑 统计 (Topology stats) 区 域 将 在 拓扑 的 层面 上 提供 一 些 基础 的 静态 信息 ， 包 括 全 部 时 间 、 过 去 10 分 钟 、 过 去 3 个 小 时 
和 过 去 1 天 的 状态 。 这 些 时 间 维 度 也 可 以 应 用 在 spout 和 bolt 的 统计 页 面 上 ， 这 部 分 稍 后 会 提 到 。 如 图 5.18 所 示 ， 你 可 以 在 这 个 
区 域内 看 到 更 多 详细 信息 。 


在 窗口 发 射出 去 的 元 组 从 一 个 spout 发 射 元 组 
总 数 ， 也 驶 是 在 输出 收集 开始 到 对 应 元 组 树 处 理 结 在 窗口 期 间 失 败 的 


货 上 调用 emit 方法 的 次 数 束 的 总 时 长 元 组 总 数 
Topology stats 
Window 2 |Emitted 
10m Os 580 
3h Om Os 740 
1d Oh Om Os 740 
All time 740 
多 个 用 于 显示 状态 的 窗口 基于 时 间 和 窗口 有 所有 发 送 至 任务 的 元 组 数量 ， “基于 时 间 和 窗口 应 答 的 
(最 近 10 分 钟 、 最 近 3 小 时 、 这 里 的 数量 可 能 会 和 发 射 的 数量 不 同 ， 因 为 元 组 总 数 
最 近 1 天 和 全 部 时 间 ) 一 个 元 组 可 能 发 送 到 了 流 上 但 没有 任何 组 件 
来 订阅 读 取 ， 例 如 emitted( 已 发 射 ) 数量 是 1 ， 
但 transferred (已 传输 ) 的 数量 可 能 还 是 0 
图 5.18 ”Storm UI 中 拓扑 统计 信息 的 部 分 截图 
spout 状 态 


spout 区 域 将 基于 时 间 窗 口 以 及 选 定 的 折 扑 ， 来 展示 该 拓扑 上 统计 的 全 部 spout 的 静态 数据 (最 近 10 分 钟 、 最 近 3 小 时 、 最 
近 1 天 和 全 部 时 间 ) 。 这 些 状态 的 详细 信息 如 图 5.19 所 示 。 


预 估 spout 发 射 一 
该 spout 上 的 ”该 spout 上 的 ”个 元 组 到 关联 元 组 最 近 一 次 错误 
选 定 查看 当前 spout 执行 器 已 发 射 元 组 。” 树 上 所 有 关联 结 点 该 spout 上 失败 发 生 的 
状态 的 时 间 段 | 数量 一 fe 的 pe 2 口 信息 


6 outs (All time) 


Executors| |Tasks| | Emitted | | Transferred | | Complete latency (ms)| | Acked | | Failed | | Error Host Last error 
commit-feed-listener | |1 0.000 


构 a 扑 时 通 该 ,| 上 的 a 该 上 上 最 近 | a 一 次 (如 
过 setspout 方法 指 任务 (实例) 数量 ”上 的 元 组 数量 应 答 的 。” 误 发 生 的 主机 有 果 有 ) 由 该 spout 
派 给 spout 的 ID 元 组 数量 ”地 址 信息 报 出 的 钳 误 


图 5.19 ”Storm UI 中 spout 状 态 信 息 的 部 分 截图 
bolt 状 态 


bolt 区 域 将 基于 时 间 窗 口 ， 以 及 选 定 的 拓扑 ， 来 展示 该 拓扑 上 统计 的 全 部 bolt 的 静态 数据 (最 近 10 分 钟 、 最 近 3 小 时 、 最 近 1 
天 和 全 部 时 间 ) 。 如 图 5.20 所 示 ， 显 示 了 这 些 状态 直至 Capacity (容量 ) 列 的 详细 信息 。 其 余 列 的 信息 如 图 5.21 所 示 。 


Capacity 将 展示 在 对 
应 时 间 段 内 ，bolt 必 这 
执行 中 元 组 的 所 占 时 间 


该 bolt 上 该 bolt 自分 比 。 如 果 这 个 值 接 
选 定 查看 当前 的 执行 入 上 的 已 发 射 近 1， 那 么 说明 该 bolt 
bolt 状 的 时 间 段 ) (线程 ) 数量 元 组 数量 处 于 饱和 工作 状态 


Bolts a time) / / 


Id Executors Tasks 


email-counter 1 1 


emall-extractor 1 1 


构建 拓扑 时 通 该 bolt 上 的 人 
过 setBolt 方法 指 任务 (实例 ) 他 任务 上 的 
派 给 bolt 的 ID 数量 元 组 数量 


图 5.20 ”Storm UI 中 bolt 状 态 信息 的 直至 Capacity 列 部 分 截图 


最 近 一 次 
该 bolt 该 bolt 最 近 一 次 错误 (如 有 果 有 ) 由 
上 的 执行 上 应 答 的 发 生 的 主机 地 址 该 bolt 报 出 
元 组 效 量 元 组 数量 言 县 的 错误 
Bolts (All time) | 
ld Executed Acked ||F Cror 
ailed | | Error Host Port Last error 
email- 0 0 0 
counter 
email- 0 0 0 172.20.10.2 | | 6700 || java.lang.OutOf 
extractor java.util.Arrays.' 
java.util.ArrayLi. 
java.util.ArrayLi 
一 个 bolt 局 动 执行 任务 一 个 bolt 到 应 答 输 该 bolt 上 失 最 近 一 次 错误 发 
的 总 时 长 (从 execute0 结 入 元 组 之 间 的 总 时 长 败 的 元 组 数量 ” 生 的 主机 端口 信息 
束 到 execute() 完成 了 对 该 (从 调用 ack 开 始 到 
输入 元 组 的 执行 ) execute() 完 成 了 对 该 
输入 元 组 的 执行 ) 
图 5.21 Storm UI 中 bolt 状 态 信息 的 其 余 列 部 分 截图 
折 扑 配置 


拓扑 配置 列 出 了 选 定 的 指定 拓扑 内 相关 配置 ， 如 图 5.22 所 示 ， 你 可 以 在 这 个 区 域内 看 到 更 多 详细 信息 。 


Topology Configuration 


Key Value 


dev.zookeeper.path /tmp/dev-storm-zookeeper 


drpc.childopts -XmXx768m 
drpc.invocations.port 3773 
drpc.port 3772 
drpc.queue.size 128 


drpc.request,.timeout.secs 600 


Adres warkear thraearie AA 


拓扑 配置 项 在 defaults.yaml、storm. 
yaml 和 代码 中 构建 拓扑 
时 使 用 到 的 配置 项 的 值 


5.22 ”Storm UI 中 拓扑 配置 信息 的 部 分 截图 


从 拓扑 的 概要 区 域 上 看 ， 你 可 以 深入 查看 每 个 独立 的 spout 或 者 bolt， 直 接 在 该 区 域 列 出 的 spout 和 和 bolt 的 列表 中 ， 点 击 名 
称 的 链接 即 可 跳 转 。 


5.5.3 ”Storm Ul: 独立 spout/bolt 概 要 


如 图 5.23 所 示 ， 你 可 以 在 界面 上 查看 到 每 个 独 六 bolt 的 6 部 分 信息 。 


提供 了 组 件 的 概要 信 Storm UI 
上 县， 在 这 里 的 案例 中 ， 一 ~ Component summary 


为 邮件 的 解压 缩 bolt - Topology Executors Tesks 
Emal- 日 对 ractcr gitriub-commit -count 1 1 
显示 了 bolt 的 静态 概 
让 不 , 的 柄 态 概 Bolt stats 
CE 信 县 Window + Emired Transierred Ewecute latency (mal Executed Process |atency (ms ACKed Paileqd 
10m Ce TD 149 D0.288 1 人 425 1 机 税 
Sh Yn Os 40 10 0.233 140 以 423 1 要 站 
1d Dh om ms 0 140 0236 1 培 Od29 140 D 
显示 由 该 bolt 发 射 bn 140 1a0 0.285 140 0La29 140 日 
、 * 人 3 亡 二 
并 与 输入 元 组 相关 的 前 一 一 > Input stats (Alltime) 
态 数据 Componeret ~- ”Stream EYeCUbha Lyten cy (mas] Executed Pracess |atency (may ncked Faled 
“一 、 、 commit-iecd-listener 中 faw D2 30 \ 
显示 ] 由 该 bolt 发 射 ， 由 -让 5dg-li 误 t 0.268 130 .429 140 日 
并 与 输出 元 组 相关 的 静 “一 一 ~ Output stats (Al time) 
Straam < Emittied Transterred 
仿 效 据 afgult 140 140 


E 四 Executors 
显 修 ] 由 该 bolt 执 全 / ld a Uptime Hest Pert Emitted Transferrad Capaciy last 10m) Execure latancy lmsh Exesutad Process5 latandy {ma) Achkad Failed 
的 执行 需 (线程 ) 的 相 


[dd sm2ss 192.16815 tr 140 140 .0 0 2 140 0.429 140 0 


关 衣 仿 数 据 Errors 
Tima Error 
显示 了 在 该 bolt 中 产 
生 的 钳 误 


图 5.23 ”Storm UI 中 的 bolt 概 要 信息 


组 件 概要 
组 件 概要 区 域 展 示 了 选中 bolt 或 spout 的 应 用 层 信 息 ， 如 图 5.24 所 示 。 
在 该 bolt 中 的 
任务 (实例 ) 数量 


Component summary 


Id Topology 


emall-extractor github-commit-count 


在 bolt 中 拓扑 名 称 ”运行 在 该 bolt 上 的 
的 组 件 名 称 执行 着 (线程 ) 效 量 
图 5.24 ”Storm UI 中 一 个 bolt 组 件 概要 信息 的 部 分 截图 


统计 状态 


bolt 统 计 状 态 区 域 展 示 的 内 容 和 你 在 拓扑 概要 中 看 到 的 bolt 内 容 基 本 一 人 致 ， 但 这 里 主要 是 每 个 独立 的 bolt 信 息 ， 如 图 5.25 所 


小 \。 


一 个 bolt 用 于 运行 一 个 bolt 用 于 应 
execute() 方法 的 总 时 答 输 入 元 组 的 总 时 长 


长 (从 execute() 结束 (从 调用 ack 开 始 到 该 bolt 
该 bolt 上 的 到 execute() 完成 了 对 execute() 完成 了 对 该 ”上 失败 的 
发 射 元 组 数量 该 输入 元 组 的 执行 ) 输入 元 组 的 执行 ) 元 组 数量 


Bolt stats 


Process latency (ms) 


0.429 
0.429 
0.429 

.429 


基于 时 间 维 度 的 窗口 该 bolt 上 该 bolt 上 该 bolt 上 
分 别 显 示 选 定 bolt 的 状 的 实际 传输 处 理 的 元 组 应 答 的 元 组 
态 (最 近 10 分 钟 、 最 元 组 数量 数量 数量 
近 3 小时、 最 近 1 天 和 
全 部 时 间 ) 


图 5.25 ”Storm UI 中 的 bolt 统 计 状 态 信息 


输入 统计 状态 


输入 统计 状态 显示 了 与 被 bolt 消 耗 的 元 组 相关 静态 信息 ， 这 些 静 仿 信 息 与 一 个 特定 的 流 相关 联 ， 在 这 里 的 案例 中 残 是 默认 的 
流 。 该 区 域 的 细节 展示 如 图 2.26 所 示 。 


一 个 bolt 用 于 运行 execute() 方 这 个 bolt 应 答 来 日 于 数据 
法 的 总 时 长 (从 execute() 结束 到 流 上 输入 元 组 的 总 时 长 (从 作为 流 中 一 
execute( 完成 了 对 该 输入 元 组 的 调用 ack 开始 到 execute() 完 部 分 的 该 bolt 
执行 ) 成 了 对 该 输入 元 组 的 执行 ) 失败 元 组 数量 


Input stats (All time) Se 
ecute latency (ms) 
.286 


Component a | Stream | | Ex Executed | |Process latency (ms) |Acked | Failed 
commit-feed-listener default ||0 140 0.429 140 0 


发 送 元 组 流 的 名 称 ， 保 持 默 作为 流 中 一 部 分 作为 流 中 一 部 分 
到 | bolt 的 组 认 即 可 ， 除 非 你 对 流 的 该 bolt 处 理 的 元 的 该 bolt 应 答 元 组 
件 名 称 的 命名 有 特殊 约定 组 数量 数量 


图 5.26 ”Storm UI 中 的 Input 统 计 状 态 信 息 


输出 统计 状态 


输出 统计 状态 显示 了 与 被 bolt 友 送 的 元 组 相关 的 静态 信息 ， 该 区 域 的 细节 展示 如 图 5.27 所 示 。 


实际 发 送 到 其 他 


任务 的 元 组 数量 
Output stats (All time) 


Stream 


default 


数据 流 的 名 称 ， 保 持 
默认 即 可 ， 除 非 你 对 流 
的 命名 有 特殊 约定 


该 bolt 上 的 
发射 元 组 效 量 


图 5.27 Storm UI 中 的 输出 统计 状态 信息 


执行 器 


执行 器 区 域 展示 了 全 部 执行 的 实例 运行 状态 


行 状 态 ， 我 们 可 以 将 这 个 流 拆 分 成 两 部 分 ， 第 一 部 分 的 展示 如 图 5.28 所 示 ， 和 胰 余 部 分 的 
展示 如 图 5.29 所 示 。 
运行 在 该 运行 在 该 执 
执行 天 上 bolt 行 希 上 bolt 传 
执行 融和 运行 ”发射 的 元 组 答 到 其 他 任务 
的 主机 信息 效 量 的 元 组 数量 
Executors 
Id 。 Capacity (last 10m) 
[4-4] 0.000 
执行 大 的 执行 着 工作 时 Capacity 将 展示 在 对 应 时 
运行 时 长 用 于 监听 的 端口 


间 段 内 ，bolt 发 送 执行 中 元 
组 的 所 鼎 时 间 百 分 比 。 如 来 
这 个 值 接近 1， 那 么 说 明 该 
bolt 处 于 饱和 工作 状态 


图 5.28 ”Storm UI 中 的 执行 器 直至 Capacity 列 的 部 分 状态 信息 
报错 


如 图 5.30 所 示 ， 可 以 在 报错 (Errors) 区 域 查看 该 bolt 上 产生 的 所 有 历史 报错 信息 。 


Storm UI 提供 了 足够 丰富 的 信息 ， 来 提供 尽 可 能 多 的 信息 ， 支 持 你 判断 当前 拓扑 在 生产 环境 中 的 工作 状态 。 基 于 Storm 
Ul， 你 可 以 很 快 友 现 拓扑 是 否 处 于 健康 的 运行 状态 ,或 者 在 哪个 地 方 出 了 问题 。 你 还 需要 通过 界面 的 信息 ， 尽 快 定位 报错 的 位 
置 ， 排 查 出 导致 拓扑 出 错 的 原因 ， 甚 至 是 找到 整体 系统 中 的 一 个 瓶 祷 。 


该 执行 吾 上 该 执行 名 上 
bolt 实例 处 理 bolt 实例 应 答 
的 元 组 效 量 
Executors 
Id > Execute latency (mS) Failed 
[4-4] 0.167 ] | | 0 
_ | 《人 _ 
人 Si 
在 这 个 执行 希 上 用 于 处 在 这 个 执行 希 上 从 应 答 输 入 该 执行 锅 上 
理 元 组 的 一 个 bolt 实 例 局 元 组 到 由 一 个 bolt 实例 处 理 bolt 实例 上 失 
动 执 行 任务 的 总 时 长 (从 完 元 组 之 间 的 总 时 长 (从 调用 败 的 元 组 数量 
execute() 结束 到 execute() 完 ack 开始 到 execute0 完成 了 对 
成 了 对 该 输入 元 组 的 执行 ) 该 输入 元 组 的 执行 ) 


图 5.29 ”Storm UI 中 执行 器 其 余 列 部 分 的 状态 信息 


你 可 以 想象 一 下 ， 一 旦 你 在 一 个 Storm 集 群 的 生产 环境 中 部 署 了 一 套 拓 扑 ， 你 的 工作 才刚 刚 开始 。 一 旦 部 署 完 成 ， 你 束 需 要 
切换 到 下 一 个 阶段 的 工作 ， 那 就 是 确保 拓扑 处 于 稳定 高 效 的 状态 ， 也 束 是 要 对 系统 做 全 面 的 调 优 和 故障 排查 ， 接 下 来 的 两 草 中 ， 
我 们 将 详细 讲解 这 两 部 分 。 


发 生 故 障 的 发 生 故 队 的 故 隐 打印 
主机 信息 主机 端口 信息 ” ”报错 信息 


Errors +， 
/~ | Error Host 
故障 发 生 的 
时 间 172.20.10.2 javalang.OutOfMemoryError: 


java.util.ArrayList.add(ArrayLi 
backtype.storm.topology.Bas 
backtype.storm.disruptor$clo 
backtype.storm.disruptor$co 
java.lang.Thread.run(Thread,j 


图 5.30 ”Storm UI 中 关于 bolt 的 报错 信息 


这 一 章 中 ， 我 们 讲解 了 在 storm 集群 上 进行 调 优 的 基础 知识 ， 以 及 Storm 集群 上 各 部 分 的 原理 ， 同 时 我 们 还 详细 演示 了 一 些 
主要 工具 ， 用 于 文 撑 你 对 调 优 和 故障 排查 的 工作 ， 这 融 是 storm UI。 


一 个 Storm 集 群 构成 部 分 包括 Nimbus ( 它 也 是 集群 的 控制 中 心 ) 和 Supervisor (用 于 执行 Spout 和 bolt 实 例 中 的 逻辑 ) 。 
一 个 Zookeeper 集 群 用 于 配合 Storm 集 群 完成 Nimbus/Supervisot 之 间 的 协同 通信 ， 并 维护 工作 状态 。 

Supervisot 运 行 的 工作 进程 (JVM) 用 于 依次 运行 执行 器 (线程 ) 和 任务 (spout/bolt 实 例 ) 。 

` 如 何 安 装 一 个 Storm 集 群 ， 包 括 一 些 关 键 的 配置 选项 用 于 确保 集群 的 正常 运行 。 

如何 将 你 的 拓扑 部 着 到 一 个 远程 Storm 和 集群 上 ， 并 且 确 保 它 和 在 本 地 运行 的 效果 一 致 。 


. 演示 了 Storm UI， 其 中 不 同 区 域 分 别 展 示 了 Storm 各 组 件 的 信息 。 


Storm UI 中 每 部 分 信息 的 详细 分 解 ， 这 些 信 息 有 助 于 支撑 你 对 拓扑 的 调 优 和 故障 排查 。 
第 6 音 ”对 Storm 进 行 调 优 
本 章 要 点 


: 对 一 个 Storm 拓 扑 执 行 调 优 
: 处 理 Storm 拓 扑 中 的 延迟 
- 如 何 使 用 Storm 的 内 建 指标 统计 API 


到 目前 为 止 , 我 们 已 经 完整 解释 了 Storm 的 基本 概念 ， 接 下 来 束 需 要 在 实践 中 印证 对 理论 的 理解 了 。 在 这 一 草 中 ， 我 们 将 讨 
论 在 完成 一 个 Storm 集 群 上 部 署 拓 扑 之 后 的 工作 ， 此 时 你 的 身份 虽然 不 再 是 程序 员 了 ， 但 你 的 工作 远 远 没有 结束 ! 记 住 ， 一 旦 完 
成 了 拓扑 的 部 署 ， 你 需要 确保 它 尽 可 能 高 效 且 健 壮 地 运行 。 这 也 是 为 什么 我 们 接 下 来 ， 将 人 花 整整 两 章 来 对 论调 优 和 改 障 排查 。 


我 们 先 简单 回顾 一 下 Storm UI， 因 为 这 里 提供 了 最 重要 的 工具 用 于 支撑 你 完成 对 运行 中 拓扑 的 检测 ， 确 保 其 是 否 处 于 有 效 
运行 中 。 接 着 我 们 将 基于 一 个 反复 的 流程 来 确认 是 否 找到 了 皂 贷 ， 或 者 是 否 已 经 解决 了 该 瓶 贷 。 但 调 优 并 不 限于 仪 仅 寻 找 瓶 须 ， 
因为 我 们 面 对 最 大 的 敌人 是 体现 在 代码 层面 上 的 运行 延迟 。 这 也 是 为 什么 我 们 要 介绍 Storm 的 指标 统计 (metrics- 
collecting) APl， 以 及 分 享 几 个 我 们 上 自己 定义 的 措 标 。 所 以 ,深入 理解 拓扑 的 工作 状态 是 有 助 于 判断 如 何 优 化 它 的 重要 前 提 。 


在 这 一 章 中 ， 需 要 你 从 GitHub 上 下 载 调试 案例 的 源码 ， 你 可 以 在 命令 行 中 输入 : git checkout[tagl， 并 将 其 中 的 [ta 四 替换 成 我 
们 指定 的 编号 即 可 。GitHub 的 仓库 地 址 : https://github.com/Storm-Applied/C6-Flash-sale-recommendetr。 


在 我 们 正式 开始 话题 前 ， 首 先 配置 一 下 配合 讲解 的 演示 案例 : Daily Deals! 重生 版 。 


6.1 ”问题 定义 : Daily Deals! 重生 版 


事情 是 这 样 的 。 我 们 设计 并 上 线 了 一 个 限时 抢购 的 网 站 ， 每 天 都 会 在 不 同 的 时 间 段 上 以 商品 ， 商 品 都 限定 购买 时 间 ， 看 上 该 
产品 的 用 户 会 踊跃 抢购 。 一 段 时 间 后 ， 随 着 每 天 的 上 架 商 品 数量 日 益 增 多 ， 用 户 渐 渐 上 友 现 很 难 找到 目 己 感 兴趣 的 商品 。 针 对 这 个 
问题 ， 公 司 中 的 一 个 团队 设计 了 又 一 款 新 产品 “Find My Sale! ” ， 基 于 用 户 的 兴趣 点 ， 向 用 户 定 向 推送 商品 精 选 。 它 会 先 收 
集 用 户 提交 的 兴趣 天 键 词 ， 以 及 成 交 和 未 成 交 的 购物 记录 ， 商 品 的 浏 丰 记录， 然后 推测 出 用 户 最 有 可 能 购买 的 商品 。 产 品 交 互 形 
式 是 以 HTTP APl 来 获取 用 户 的 标识 信息 ， 然 后 返回 一 个 推荐 商品 的 列表 ， 在 用 户 端 推送 显示 。 接 下 来 ， 我 们 融 看 看 这 个 产品 的 
具体 细节 。 


不 得 不 说 这 个 产品 为 公司 带 来 了 显著 的 利润 增长 ， 但 相 比 业务 增长 ，“Daily Deals! “” 却 日 渐 凸 显 出 各 种 落伍 特征 ， 其 发 
送 的 订阅 邮件 还 是 基于 早期 的 设计 来 推送 一 综 新 上 的 商品 。 在 最 早 的 时 候 ， 一 天 一 封 订阅 邮件 所 传递 的 信息 量 恰 到 好 处 ， 后 来 做 
过 一 些 调整 ， 修 改 为 每 天 向 用 尸 的 收 件 箱 友 送 导 购 邮 件 ， 但 依然 无 法 提升 邮件 的 转化 效果 。 早 先 我 们 对 这 个 问题 做 了 些 基础 分 
析 ， 友 现 主 要 原因 束 是 邮件 无 法 匹配 用 户 的 兴趣 点 ， 所 以 即使 是 导购 性 邮件 也 无 法 提升 用 己 对 商品 的 兴趣 度 。 随 着 商品 种 类 的 日 
浙 增 多 ， 人 入 单 的 导购 模板 无 法 提高 用 户 兴 趣 的 命中 率 ， 而 只 是 在 推送 一 些 相似 品类 的 商品 。 


我 们 尝试 去 重新 定义 这 个 业务 : 用 另外 一 种 形式 的 邮件 来 取代 当前 “Daily Deals! ”的 邮件 系统 ,基于 “Find My 
Sale! ”对 用 尸 兴 趣 点 的 分 析 ， 推 送 一 封 邮件 给 用 尸 ， 内 容 是 第 二 天 即将 推出 的 用 尸 可 能 会 感 兴趣 的 商品 。 借 助 “Find My 
Sale! ”的 功能 来 改进 产品 ， 目 标 是 优化 网 页 上 的 产品 点 击 转化 率 ， 当 然 还 有 销量 。 这 里 有 几 个 需要 注意 的 地 万 ，“Find My 
Sale! ”是 一 个 纯 在 线 运 行 的 系统 ， 目 前 使 用 的 销售 推荐 算法 是 基于 外 部 HTTP 接 口服 务 的 。 在 我 们 考虑 重 构 方 案 之 前 ， 需 要 
对 “Daily Deals! ”的 邮件 调整 想法 做 些 验 证 ， 因 为 这 会 对 当前 业务 产生 较 大 的 影响 (团队 中 的 一 部 分 人 认为 当前 的 邮件 设计 
足够 文 撑 业 务 ， 增 加 产品 间 的 耦合 性 不 一 定 会 市 来 提升 ， 反 而 可 能 会 导致 系统 流量 增加 ) 。 


6.1.1 创建 概念 性 解决 万 案 


我 们 需要 设计 一 种 方案 来 处 理 邮 件 的 创建 事务 。 这 里 假定 可 以 实现 一 个 数据 流 ， 包 含 客户 的 相关 信息 ， 然 后 实时 地 调 
用 “Find My Sale! ”服务 来 查找 符合 该 客户 感 兴趣 的 商品 目录 (这 里 需要 对 “Find My Sale! ”做 一 定 修改 ， 因 为 正常 情 ; 
它 只 支持 已 上 以 的 产品 ， 我 们 已 经 修改 它 来 识别 一 个 时 间 段 内 的 所 有 商品 ) 。 接 着 我 们 将 这 些 提取 出 来 的 商品 信息 保存 并 提交 至 
另外 一 个 流程 用 于 生成 并 友 送 邮件 。 一 个 基础 的 概要 设计 如 图 6.1 所 示 。 


该 设计 为 一 个 正 向 逻辑 ， 它 包含 4 个 组 件 ， 分 别 调用 两 个 外 部 服务 和 一 个 数据 库 。 确 定 了 思路 ， 我 们 接 下 来 需要 考虑 如 何 将 
其 匹配 至 Storm 的 设计 逻辑 。 


限时 抢购 
扒 存 服务 


将 新 来 用 户 为 客户 寻找 
纳入 队列 推荐 的 商品 


限时 抢购 的 商品 
明细 服务 


查看 商品 的 
明细 


将 推荐 的 
商品 保存 至 
数据 库 


限时 抢购 的 
数据 库 


图 6.1 “Find My Sale! ”拓扑 设计 的 组 件 和 相关 数据 点 


6.1.2 将 万 案 转换 为 Storm 设 计 


将 这 个 设计 方案 转换 到 Storm 的 拓扑 设计 非常 简单 ， 我 们 有 一 个 已 知 的 spout 用 于 发 射 客户 的 相关 信息 ， 然 后 依次 提交 
至 “Find My Sale” 的 bolt， 用 于 调用 外 部 服务 执行 处 理 。 当 查找 到 可 以 匹配 客户 需求 的 商品 信息 后 ， 商 品 信息 将 会 连同 客户 信 
息 一 起 发 射 到 一 个 持久 化 的 bolt 中 ， 将 资料 存储 起 来 ， 用 于 稍 后 的 邮件 发 送 逻 辑 。 基 于 此 设计 的 Storm 方 案 如 图 6.2 所 示 。 


这 个 方案 匹配 至 storm 中 的 场景 ， 和 我 们 在 第 2 ~ 4 章 中 演示 的 案例 均 相 似 ， 都 拥有 一 个 spout 扮 演 元 组 源 ， 然 后 信 助 3 个 
bolt 来 实现 处 理 和 传输 的 工作 ， 接 下 来 我 们 将 向 你 展示 第 一 部 分 的 代码 实现 。 


6.2 人 切 始 化 实施 


在 开始 进入 设计 实施 之 前 ， 我 们 需要 牢记 几 个 重要 信息 ， 以 下 这 部 分 接口 将 在 代码 中 频繁 出 现 : 
TopologyBuilder: 为 指定 的 拓扑 公开 API， 以 便 Stotm 对 接 执行 
* OutputCollector: 用 于 发 射 元 组 和 让 元 组 失败 的 核心 API。 


将 客户 的 ID 
置 入 队列 


| i 


用 于 检索 该 spout 将 把 
客户 的 spou 客户 ID 从 队 
列 中 提出 来 


[customer="13473827"| 


一 段 的 各 组 
LeUBtomer="1347382171™ i 
sales=List ("2324","7366")] 件 的 流 分 组 茹 略 
rd | 是 随机 分 组 


商品 的 信 口 县 - 出 bolt 
基于 客户 和 商品 数 
据 执 行 处 理 计算 


查找 推荐 
商品 的 详细 
言 自 


HH iss 


Leustomers™"l3ada T3827" 
sales=List (Sale@7442df79,Sale@1662bc63)] 


保存 


推荐 商品 


图 6.2 将 “Find My Sale! ”的 方案 转换 为 Storm 设 计 


我 们 首先 看 看 FlashSaleTopologyBuilder， 这 个 类 将 负责 连接 我 们 的 spoutf0bolt， 如 代码 清单 6.1 所 示 ， 处 理 所 有 构建 拓 


扑 的 工作 ， 而 且 不 考虑 运行 方式 : 无 论 是 本 地 模式 还 是 部 署 到 一 个 远程 集群 上 。 


程序 清单 6-1 FlashSaleTopologyBuilder.java 


public class FlashSaleTopologyBuilder { 


public static final String CUSTOMER RETRIEVAL SPOUT = "customer-retrieval",; 
public static final String FIND RECOMMENDED SALES = "find-recommended-sales" 
public static final String LOOKUP SALES DETAILS = "lookup-sales-details",; 
public static final String SAVE RECOMMENDED SALES = "save-recommended-sales" 


public static StormTopology build() { 
TopologyBuilder builder = new TopologyBuilder(),， 


builder. 


setSpout (CUSTOMER RETRIEVAL SPOUT, new CustomerRetrievalSpout () ) 


.SetMaxSpoutPending (250) ; 


builder. 


setBolt (FIND RECOMMENDED SALES, new FindRecommendedSales(), 1) 


.SetNumTasks (1) 
.ShuffleGrouping (CUSTOMER RETRIEVAL SPOUT) ; 


builder. 


setBolt (LOOKUP SALES DETAILS, new LookupSalesDetails(), 1) 


.SetNumTasks (1) 
.ShuffleGrouping (FIND RECOMMENDED SALES) ; 


builder. 


setBolt (SAVE RECOMMENDED SALES, new SaveRecommendedSales(), 1) 


.SetNumTasks (1) 
.ShuffleGrouping (LOOKUP SALES DETAILS ) ; 


return builder.createTopology(); 


现在 我 们 就 来 看 看 如 何 将 所 有 拓扑 中 的 组 件 都 通过 FlashSaleTopologyBuilder 类 组 合 起 来 。 但 首先 需要 了 人 解 每 个 独立 组 件 
的 细节 ， 先 看 看 spout。 


spout: 读 取 目 一 个 数据 源 


数据 都 将 由 该 spout 传 入 拓扑 ， 数 据 结 构 包 含 单个 客户 的 ID， 如 图 6.3 所 示 。 


El 


CuUustomer 
Retrieval 
SPDOut 


customer="]34/73827"| 


图 6.3 ”用 于 发 射 元 组 的 spout， 该 元 组 包含 接收 到 的 客户 ID 


但 和 其 他 拓扑 一 样 ， 为 了 确保 运行 的 效率 ， 我 们 需要 为 让 spout 使 用 nextTuple () 方法 来 创建 数据 ， 而 不 仪 仪 是 形成 一 个 
简单 的 消息 队列 来 听 候 调用 ， 如 代码 清单 6.2 所 示 。 


程序 清单 6-2 CustomerRetrievalSpout.nextTuple 生 成 客户 ID 


@Override 
public void nextTuple() { 
new LatencySimulator(1l, 25, 10, 40, 5) .sijmulate(1000),， 


int numberPart = idGenerator.nextInt(9999999) + 1; 
String customerId = "customer-" + Integer.toString (numberpart),; 


outputCollector.emit (new Values (customerId)); 


| 


如 果 我 们 将 完成 的 拓扑 友 布 到 一 个 真实 的 生产 环境 ， 那 么 可 以 考虑 使 用 Kafka 或 RabbitMQ 来 实现 客户 检索 的 spout 队 列 总 


线 。 我 们 要 做 的 是 将 这 些 客户 信息 列表 都 保留 在 一 个 队列 中 ， 但 这 极 容易 导致 队列 朋 溃 抒 ， 或 者 卡 在 有 某 一个 位 置 ， 唯 一 能 做 的 是 
重 局 服务 ， 让 队列 从 中 断 的 位 置 恢复 。 这 使 得 我 们 的 队列 对 比 系统 需要 拥有 不 同 的 健壮 度 。 


另外 ， 如 果 我 们 决定 不 采用 批 处 理 的 机 制 ， 我 们 融 需 要 将 其 转换 成 一 个 实时 系统 。 由 于 基于 Storm 原理 和 我 们 的 设计 ， 沅 数 
据 已 经 作为 一 个 批 处 理 来 执行 。 我 们 融 需 要 在 这 里 区 分 流 数 据 是 如 何在 系统 中 传输 ， 以 及 什么 时 候 局 动 批 处 理 。 无 论 什 么 时 候 ， 
我 们 其 实 都 可 以 不 需要 修改 任何 代码 ， 束 能 根据 需求 将 系统 由 一 个 批 处 理 系统 切换 成 一 个 实时 系统 。 


接 下 来 ， 我 们 先 一 步 步 地 了 解 每 个 bolt， 以 及 它们 之 间 最 重要 的 处 理 逻 辑 。 


6.2.2 bolt: 查找 推荐 商品 


用 于 查找 推荐 商品 的 bolt 在 接收 到 输入 元 组 中 客 尸 1D 之 后 ， 将 会 转 友 出 包含 两 个 值 的 元 组 : 客户 ID 和 一 个 商品 ID 列表 。 为 
了 能 检索 到 商品 的 ID， 这 里 需要 调用 一 个 外 部 的 服务 。 这 部 分 的 拓扑 结构 如 图 6.4 所 示 。 


[customer="]34/38217"| 


限时 抢购 的 
推 存 服务 


[customer="134/3821/", 
sales=D1ist ("2324", "7366") | 


| 


图 6.4 ”FindRecommendedSales bolt 用 于 接收 输入 元 组 中 的 客户 ID， 然 后 发 射 包 含 客 户 ID 和 检索 出 商品 ID 列 表 的 元 组 
实现 这 个 bolt 的 代码 详 见 代码 清单 6.3。 


程序 清单 6-3 FindRecommendedSales.java 


public class FindRecommendedSales extends BaseBasicBolt { 


private final static int TIMEOUT 
private FlashSaleRecommendationC 


@Override 
public void prepare (Map config, 


TopologyContext context) 
new FlashSaleRecommendationClient (TIMEOUT ) ; 


client 


} 


@Override 
public void execute (Tuple tuple, 


BasicOutputCollector outputCollector) 


假定 客户 端 与 
限时 抢购 推荐 服 
务 之 间 进 行 通 
言 ， 如 果 通 信 时 
间 超 过 200ms， 
则 判断 为 超时 


200， 
lient client.; 


人 


< 


{ 


如 果 找 到 了 String customerId = tuple.getSstringByField("customer").,， each 
推荐 给 客户 的 检索 推荐 
商品 ， 将 全 部 | YY 1 的 商品 
列表 都 发 射 至 List<String> sales = client.findSalesFor (customerId).,， 

一 个 元 组 中 if (!sales.isEmpty()) { 
PA -一作 outputCollector.emit (new Values (customerId, sales)),; 


} 


} catch (Timeout e) 


人 


throw new ReportedFailedException(e),; 


} 
| 


我 们 从 dlient.findSalesFor 上 拿 


息 。 接 着 束 来 看 看 处 理 这 一 部 分 工作 的 bolt。 


6.2.3 bolt: 为 每 个 商品 合 询 评 细 信息 


为 了 友 达 
客户 的 ID 和 商品 的 ID 列表 ， 商 品 的 详情 得 询 需 要 调用 一 个 外 部 服务 
表 ， 其 中 包含 了 每 个 商品 的 详细 信息 ， 如 图 6.5 所 示 。 


到 的 回调 是 一 个 经 过 检 款 的 商品 ID 列表 ， 为 了 友 适 


关 包含 商品 详细 信息 的 邮件 ， 我 们 需要 基于 每 一 个 检索 回来 的 商品 ID 查询 商品 的 详细 信息 。 实 现 这 一 


如 果 与 限时 抢购 服 
务 间 通信 超时 200ms 
抛 出 的 错误 异常 


< 二 一 


我 们 可 以 在 Storm 
UI 上 查看 到 由 这 里 
报 出 的 最 新 异常 错误 


关 守 东 


J 大 刀 下 


整 邮件 ， 我 们 还 需要 获取 商品 的 详细 信 


步 的 元 组 包 合 
。 玛 询 完 成 后 ， 友 射 的 元 组 将 包含 客户 ID 和 一 个 3ale 对 象 列 


| 
[customer="] 34713827", 


sales=Dist ("2324","7366")|] 


LOOkKuUP 


限时 抢购 商品 4 
详情 查询 服务 


Sales 
Detailils 


Icustomer="13473827", 
sales=List (Sale@7442dft79,Sale@a1662bc63)|] 


| 


图 6.5 ”bolt 接收 到 客户 ID 和 商品 ID 之 后 ， 将 查询 的 商品 详情 和 客户 ID 一 起 放 入 新 的 元 组 并 发 射 至 下 一 段 处 理 


全 


现 这 个 LookupSalesDetails bolt 的 代码 如 代码 清单 6.4 所 示 。 


程序 清单 6-4 LookupSalesDetails 


public class LookupSalesDetails extends BaseRichBolt { 
private final static int TIMEOUT = 100; 
private FlashSaleClient client, 
private OutputCollector outputCollector; 


@Override 

public void prepare (Map config, 
TopologyContext context, 
OutputCollector outputCollector) { 


this.outputCollector = outputCollector; 为 输出 的 收集 器 分 配 一 
假定 客户 client = new FlashSaleClient (TIMEOUT) ; 个 实例 ， 这 样 就 可 以 在 每 
\ 次 查 1i I 元 
端 与 限时 抢 CO 
购 推荐 服务 Bd 效 和 应 忆 A 组 上 拥有 
之 间 进 行 通 public void execute (Tuple tuple) { 更 多 控制 反馈 
信 ， 如 果 通 String customerId = tuple.getStringByField("customer'" ) ; 
告 时 间 超 过 List<String> SaleIds = (List<String>) tuple.getValueByField("sales'") 
所 | 1 
100ms， 则 
dhl tae 、 ] le> sales = new ArrayList<Sale>(),， 
判断 为 超时 List<Sa Y ， 
for (String saleIdq: saleIds) { 为 每 个 客户 都 不 断 
ed 渤 代 查询 商品 详情 
Sale sale = client.lookupSale (saleId).,， 
查询 每 个 a 如 果 与 限时 抢购 服务 间 
推荐 商品 的 } catch (Timeout e) { 通信 超时 100ms， 抛 出 错 
尘 如 位 自 outputCollector.reportError (e) ; 
) 如 果 一 次 单独 查询 出 现 超时 ， 


仅 报 出 这 个 错误 ， 但 继续 执行 
if (sales.isEmpty()) { 和 


> outputCollector.fail (tuple).; 
如 果 我 们 无 } 


else { 

法 找 至 | 商 号 的 

| outputCollector.emit (new Values (customerIQd，sales) ) ; < 另外 我 们 4 
2 a 六 y ww =i | /A 
任何 信息 ， 那 | outputCollector .ack(tuple) ; 二 一 7 S| 2 
就 标识 该 查询 | ] 发 射 一 个 包公 
失败 | 应 答 输 客户 ID 和 商品 

入 元 组 详情 的 新 元 组 


这 个 bolt 和 和 上 一 个 bolt 之 间 最 大 的 区 别 就 在 于 这 个 bolt 允 许 查 询 成 功 以 及 失败 ， 例 如 我 们 查询 十 个 商品 ， 但 也 许 只 有 九 个 可 
以 获取 详细 信息 ， 另 外 一 个 无 任何 返回 值 。 为 了 解决 这 个 问题 ， 我 们 先 从 BaseRichBolt 继 承 ， 然 后 手动 应 答 元 组 ， 只 要 能 基于 
输入 元 组 的 商品 1D 查询 到 一 个 商品 信息 ， 那 么 此 次 残 算 为 一 次 成 功 的 查询 ， 可 以 继续 进入 下 一 次 查询 。 我 们 的 目标 是 在 有 限 的 
时 间 内 ， 创 建 尽 可 能 多 的 邮件 。 


接 下 来 焉 是 我 们 的 最 后 一 个 bolt， 用 于 保 仓 查询 结果 到 数据 库 ， 然 后 上 友 送 至 下 阶段 处 理 流程 。 


6.2.4 bolt: 保 仔 推荐 的 商品 评 情 


保存 推荐 商品 的 bolt 将 接收 包含 客 尸 iD 和 商品 详情 Sale 对 象 列表 的 元 组 ， 其 中 列表 里 的 内 容 为 上 一 步 中 基于 每 个 商品 1D 查询 
得 到 的 概要 信息 。 接 着 该 bolt 将 仅 持久 化 所 有 结果 全 数据 库 ， 用 于 稍 后 的 处 理 ， 不 再 友 射 任何 新 元 组 ， 因 为 这 是 拓扑 中 的 最 后 一 
步 了 ， 如 图 6.6 所 示 。 


[customer="134/73827", 


sales=List (Sale@7442df79,Sale@1662bc63)| 
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| SawVe 
Recommendedr 


限时 抢购 客户 


Sales 


效 据 库 


图 6.6 ”接收 包含 客户 ID 和 商品 详情 列表 的 元 组 ， 并 将 推荐 商品 信息 持久 化 至 数据 库 的 bolt 
实现 SaveRecommendedSales 的 代码 如 代码 清单 6.5 所 示 。 


程序 清单 6-5 SaveRecommendedSales.java 


public class SaveRecommendedSales extends BaseBasicBolt { 
private final static lint TIMEOUT = .50 
private DatabaseClient dbClient, ， 假定 客户 端 与 限时 


抢购 推荐 服务 之 间 进 


行 通信 ， 如 果 通 信 时 
{ 间 超 过 50ms， 则 六 


@Override 
public void prepare (Map config, 
TopologyContext context) 
dbClient = new DatabaseClient (TIMEOUT) ; < 断 为 超时 


@Override 
public void execute (Tuple tuple, 
BasicOutputCollector outputCollector) { 
String customerId = tuple.getSstringByField("customer")., 


尝试 保存 
客户 和 相关 


商品 列表 到 List<Sale> sales = (List<Sale>) tuple.getValueByField("sales") 
数 据 库 /十 
try ft 如 果 与 限时 抢购 服 
Lr> dbClient.save(customerId, sales).， Pe 
务 间 通信 超时 50ms， 
} catch (Timeout e) { 类 出 错误 异常 
throw new ReportedFailedException (e); < 一 一 
} 我 们 可 以 在 Storm 
} UI 上 查看 到 由 这 里 报 
出 的 最 新 异常 错误 


对 于 这 个 bo 上 t， 和 我 们 在 前 两 个 bolt 中 的 操作 方式 类 似 。 以 上 ， 融 是 我 们 的 全 部 业务 逻辑 ， 看 起 来 简明 扼要 ， 试 想 我 们 也 在 
本 地 完成 了 部 署 和 调试 ， 但 距离 友 布 至 生产 环境 还 有 些 问 题 ， 因 为 它 的 效率 还 不 够 高 啊 ， 快 点 吗 ” 不 好 讲 ， 那 么 我 们 接 下 来 
束 看 看 如 何 实现 优化 。 


6.3” 调 优 : 我 想 为 它 提 速 


对 拓扑 调 优 的 第 一 步 是 什么 呢 ? 这 看 上 去 好 像 写 无 下 手 之 处 ， 但 押运 的 是 ，Storm 提 供 了 许多 用 于 快速 判断 瓶颈 的 工具 ， 使 
得 我 们 可 以 通过 步 进 的 方式 去 逐渐 寻找 优化 点 。storm UI 和 指标 统计 API 可 以 在 反复 调试 的 过 程 中 ， 提 供 足 够 信息 来 支撑 你 对 拓 
扑 的 优化 。 


6.3.1 Storm Ul: 调 优 的 定位 工具 

熟悉 Storm UI 是 调 优 过 程 中 必 不 可 少 的 一 步 ， 因 为 它 是 提供 运行 信息 状态 判断 的 最 主要 工具 ， 还 包含 了 对 调 优 后 的 运行 反 
馈 信息 。 一 个 基于 storm UI 的 拓扑 概要 信息 截图 如 图 6.7 所 示 。 

回忆 一 下 ，Storm 的 Ul 中 有 几 个 重要 的 独立 信息 部 分 : 

.Topology summary (拓扑 概要 ) : 显示 当前 的 状态 、 运 行 时 间 、 工 作 结 点 数量 、 指 派 给 该 拓扑 的 执行 器 和 任务 概要 。 

: Topology actions (拓扑 动作 ) : 允许 你 直接 从 UI 上 对 拓扑 执行 取消 激活 、 调 整 平衡 和 停止 操作 。 


Topology stats (拓扑 状态 ) : 通过 4 个 窗口 来 显示 拓扑 的 概要 统计 ， 其 中 一 个 窗口 显示 全 部 时 间 段 。 


spouts (All Time 全 部 时 间 段 ) : 显示 了 你 的 spout 概 要 统计 人 信息， 包含 执行 器 和 任务 的 数量 ， 由 该 spout 执 行 的 发 射 、 应 答 
和 失败 元 组 数量 ， 与 该 spout 相 关 的 最 近 一 次 报错 (如 果 有 多 次 报错 情况 出 现 ) 。 


:bolt (All Time 全 部 时 间 段 ) : 显示 了 你 的 bolt 概 要 统计 信息 ， 包 含 执行 器 和 任务 的 数量 ， 由 该 bolt 执 行 的 发 射 、 应 答 和 失 
败 元 组 数量 ， 与 延迟 率 相 关 的 一 些 指 标 ，bolt 的 负荷 情况 ， 与 该 bolt 相 关 的 最 近 一 次 报错 《如果 有 多 次 报错 情况 出 现 ) 。 


Visualization (可 视 化 ) : 可 视 化 的 形式 显示 了 该 spout 和 bolt 的 情况 ， 包 括 它 们 的 连接 方式 以 及 连接 段 上 的 元 组 流 情 况 。 


Topology Configuration (拓扑 配置 ) : 显示 了 该 拓扑 上 的 全 部 配置 选项 。 


localhost.8080/topology.html?id=github-commit-count-1-1422409540 


torm UI 


opology summary 
Name Id 


github-commit-count github-commi-count-1-1422409540 


opology Visualization 


opology Configuration 

Key Value 

dov .zookeoper path himpydew-storm-zocokeeper 
由 pc.Chiidopts -XmMmx768m 


drpce nvocalions port 3773 


图 6.7 ”Storm UI 上 的 拓扑 概要 截图 


在 调 优 阶段 ， 我 们 会 主要 关注 bolt 区 域 的 信息 。 在 确定 具体 的 调试 点 和 调 优 方案 前 ， 我 们 需要 先 在 拓扑 上 明确 几 个 重要 原 


则 。 

定义 你 的 服务 等 级 协议 (SLA) 

在 开始 调试 工作 前 ， 甚 至 你 还 不 清楚 目前 拓扑 是 否 已 经 处 于 最 优化 运行 状态 时 ， 你 需要 为 自己 明确 定义 最 佳 运行 状态 的 评判 
标准 是 什么 ? 你 希望 达到 多 快 的 处 理 速 度 ? 试想 Twitter 在 热门 话题 功能 ， 如 果 对 每 个 推 文 的 计算 量 加 起 来 需要 八 个 小 时 ， 那 么 这 

返回 的 结论 早 就 和 当前 的 话题 差 之 其 远 了 。SLA 的 定义 是 很 灵活 的 ， 不 需要 完全 基于 时 间 维 度 设 置 为 “在 一 个 小 时 内 ”， 它 是 
可 以 基于 数据 流 的 实际 情况 来 定义 的 。 事 件 在 某 些 情况 下 是 不 可 能 存在 备份 的 ， 因 为 队列 会 持续 执行 数据 的 处 理工 作 ， 如 果 我 们 


不 能 及 时 消化 数据 量 ， 那 么 系统 很 有 可 能 触 碰 到 队列 极限 ， 更 糟糕 的 是 有 可 能 会 导致 内 存 不 足 然后 报错 。 


在 我 们 的 案例 中 ， 数 据 流 采 取 类 似 批 处 理 的 形式 执行 加 工 ， 所 以 SLA 也 会 略 有 不 同 。 我 们 需要 将 数据 完整 而 及 时 地 处 理 完 
成 ， 并 生成 邮件 发 送出 去 。 所 以 在 这 里 需要 定义 不 同 级 别 的 效率 评判 标准 : 


1. 完 成 的 时 效 程度 ? 


2. 由 于 每 天 都 需要 处 理 大 量 数据 ， 完 成 的 持续 性 是 多 久 ? 


接 下 来 我 们 就 来 设置 一 个 合理 的 SLA 吧 ， 选 择 一 个 时 间 段 来 处 理 这 些 数据 并 生成 邮件 (大 概 60 分 钟 ) ， 每 天 从 早上 8 点 开始 
处 理 邮 件 发 送 ， 直 到 晚上 11 点 结束 ， 随 后 执行 针对 第 二 天 的 邮件 发 送 准 备 。 也 就 是 说 ， 我 们 有 8 个 小 时 的 时 间 来 准备 需要 发 送 的 
第 一 批 邮件 。 现 在 我 们 已 经 拥有 2000 万 的 客户 ， 换 算 下 来 每 秒 钟 就 需要 处 理 695 名 客户 的 数据 业务 。 但 这 还 不 算 优 化 ， 我 们 有 信 
心 在 第 一 阶段 就 让 这 个 时 间 缩 短 为 只 要 七 个 小 时 ， 也 就 是 每 秒 需要 处 理 794 名 客户 数据 。 因 为 业务 还 会 增长 ， 所 以 需要 留 出 一 定 
空间 ， 这 样 优化 之 后 可 以 持续 使 用 很 长 一 段 时 间 ， 最 终 我 们 决定 每 秒 钟 需要 处 理 1852 名 客户 的 数据 业务 。 


6.3.2 ” 力 性 能 信 建 Vv 一 个 基线 集 


终于 可 以 开始 执行 Storm 的 调 优 工作 了 ， 目 的 是 为 了 让 拓扑 的 运行 效率 更 高 ， 处 理 变 得 更 快 。 在 我 们 的 源 代码 中 ， 你 可 以 找 
到 “Find My Sale! ”的 0.0.1 版 本 拓扑 代码 。 你 可 以 使 用 如 下 命令 来 查找 制定 的 版 本 。 


glt checkout 0.0.1 


在 调 优 的 过 程 中 ,我们 还 需要 注意 一 个 重要 的 类 FlashSaleTopologyBuilder， 它 是 用 于 构建 整个 拓扑 ， 并 且 设 置 每 个 组 件 
之 间 的 并 行 性 处 理 模 式 。 先 看 看 它 的 构建 方法 : 


public static StormTopology build() f 
TopologyBuilder builder = new TopologyBuilder () ; 


builder.setSpout (CUSTOMER RETRIEVAL SPOUT, new CustomerRetrievalSpout () ) 
.SetMaxSpoutPending (250),， 


builder.setBolt (FIND RECOMMENDED SALES, new FindRecommendedSsSales(), 1) 
.SetNumTasks (1) 
.ShuffleGrouping (CUSTOMER RETRIEVAL SPOUT).,; 


builder.setBolt (LOOKUP SALES DETAILS, new LookupSalesDetails(), 1) 
.SetNumTasks (1) 
.ShuffleGrouping (FIND RECOMMENDED SALES) ; 


builder.setBolt (SAVE RECOMMENDED SALES, new SaveRecommendedSsSales(), 1) 
.SetNumTasks (1) 
.ShuffleGrouping (LOOKUP SALES DETAILS ) ; 


return builder.createTopology(); 


注意 我 们 人 在 这 里 在 每 个 bolt (setNumTasks 中 ) 都 创建 了 一 个 执行 器 (调用 目 setBolt) 和 一 个 任务 ， 这 可 以 为 拓扑 提供 一 
个 性 能 运行 的 基准 判断 值 。 接 下 来 我 们 将 它 部 署 到 远程 集群 中 ， 然 后 用 10 到 15 个 客 尸 数据 做 运行 测试 ， 从 Storm UI 上 看 是 否 能 
搜集 些 基 本 信息 。 如 图 6.8 所 示 ， 展 示 了 调整 后 的 效果 ， 突 出 并 注释 了 其 中 重要 的 部 分 。 


这 两 个 延迟 指标 信之 间 的 区 别 在 这 里 


显示 搜集 数据 的 es 
认 最 近 10 分 钟 只 要 下 网 接近 ， 我 们 就 不 需要 = 


只 关注 执行 延迟 指标 束 行 了 
a 


Bolts (10m Os) 


Id Executors| | Taeks| Emitted Transferred 


fing- 
recormrmanded - 
salas 


1 2020 2020 


Iookup-seles- 
dstails 


人 ， ^_ 
本 本 
列 出 了 所 有 bolt 每 个 bolt 容量 值 以 百分比 的 形式 展示 了 bolt 上 应 答 或 
以 及 它们 的 名 称 ， 上 的 执行 关 时 间 窗 口内 bolt 花 在 执行 元 组 的 失败 的 元 组 数量 
这 些 都 在 构建 拓扑 和 任务 数量 时 间 。 如果 这 个 值 越 接 近 1， 那 
的 时 候 ， 由 setBolt 该 bolt 就 越 接 近 于 工作 量 饱 和 ， 
方法 定义 出 来 的 也 最 可 能 成 为 拓扑 中 的 瓶颈 。 可 


以 通过 增加 bolt 中 的 容量 并 人 行 
度 ， 来 判断 这 里 是 否 会 出 现 瓶 颈 


图 6.8 ”在 Storm UI 中 判断 需要 调试 的 重要 部 分 


现在 我 们 在 一 个 界面 上 融 能 直观 地 观察 拓扑 的 相关 指标 ， 包 含 性 能 相 天 的 各 项 基准 数据 ， 那 调 优 的 下 一 步 融 是 判断 拓扑 中 的 
杠 贷 ， 然 后 对 其 做 些 估 化 操作 。 


6.3.3 判断 泪 颈 


从 第 一 次 运行 的 结果 中 ， 我 们 能 得 到 什么 信息 呢 ? 首先 看 看 容量 指标 ， 在 我 们 的 两 个 bolt 上 ， 都 表现 出 极 高 的 容量 值 。 其 
中 ，find-recommended-sales 的 值 为 1.001， 而 lookup-sales-details 的 值 在 0.7 之 间 浮 动 。 而 达到 1.001 的 find- 
recommended-sales 已 经 无 疑 成 为 当前 的 运行 瓶 矣 点 ， 我 们 需要 在 其 上 面 增加 并 行 度 配置 。 而 对 于 接近 0.7 的 lookup-sales- 
details， 大 概率 上 看 是 find-recommended-sales 和 lookup-sales-details 没 有 实现 处 理 能 力 上 的 对 应 匹配 ， 导 致 两 者 之 间 形 成 
了 瓶颈 区 。 直 觉 告诉 我 这 里 需要 基于 其 串 行 特性 ， 还 要 对 应 调整 save-recommended-sales， 因 为 它 的 容量 值 才 达到 了 0.07， 
也 构成 了 整个 系统 中 的 一 个 瓶颈 段 。 


接 下 来 ,我们 需要 评估 设置 多 高 的 并 行 度 才能 满足 需求 ， 同 时 还 包括 设置 任务 数量 ， 完 毕 后 发 布 一 次 。 我 们 将 向 你 展示 该 运 
行 的 统计 信息 ， 你 会 友 现 在 不 改变 执行 器 数量 的 情况 下 ， 改 变 任务 数量 是 不 会 产生 任何 影响 的 。 


你 可 以 通过 以 下 命令 ， 获 取 0.0.2 的 版 本 代码 : 


git checkout 0.0. 


这 里 最 重要 的 一 个 调整 友 生 在 FlashSaleTopologyBuilder 中 : 


public static StormTopology build() { 
TopologyBuilder builder = new TopologyBuilder () ; 


builder.setSpout (CUSTOMER RETRIEVAL SPOUT, new CustomerRetrievalSpout ()) 
.SetMaxSpoutPending (250); 


builder.setBolt (FIND RECOMMENDED SALES, new FindRecommendedSales(), 1) 
.SetNumTasks (32) 
.ShuffleGrouping (CUSTOMER RETRIEVAL SPOUT); 


builder.setBolt (LOOKUP SALES DETAILS, new LookupSalesDetails(), 1) 
.SetNumTasks (32) 
.ShuffleGrouping (FIND RECOMMENDED SALES); 


builder.setBolt (SAVE RECOMMENDED SALES, new SaveRecommendedSales(), 1) 
.SetNumTasks(8) 
.ShuffleGrouping (LOOKUP SALES DETAILS ) :; 


return builder.createTopology(); 


为 什么 分 别 为 bolt 的 任务 数 设 置 为 32、32 和 8 呢 ? 可 能 我 们 经 过 尝试 只 需要 设置 为 16、16 和 和 4， 但 最 好 的 做 法 是 将 配置 的 参 
数 都 加 倍 。 这 样 做 的 好 处 是 不 需要 去 多 次 友 布 拓扑 ， 直 接 使 用 rebalance 命 令 即 可 在 Nimbus 结 点 上 发 布 0.0.2 版 本 ， 用 于 调整 运 
行 中 拓扑 的 并 行 性 。 


及 布 后 ， 待 系统 运行 10 到 15 分 钟 ， 从 监控 界面 上 能 清晰 地 看 到 ， 唯 一 变动 的 残 是 每 个 bolt 的 任务 数量 。 


接 下 来 怎么 做 呢 ? 我 们 可 以 先 借助 rebalance 命 令 将 find-recommended-sales 和 lookup-sales-details 这 两 个 bolt 的 并 行 性 


数量 设置 为 四 倍 。 


“> 注意 
在 本 章 中 使 用 到 的 tebalance 命 令 采 用 的 格式 为 stofm rebalance topology-name-e[bolt-name]=[number-of-executors]|， 它 的 作用 是 为 
间 定 的 bolt 重 分 配 执行 器 ， 或 者 为 指定 运行 中 的 bolt 调 整 并 行 性 。 所 有 的 tebalance 命 令 都 假定 运行 在 我 们 的 Nimbus 结 点 上 ， 因 为 在 


这 里 我 们 配置 了 Stotm 的 PATH 路 径 参 数 。 
我 们 先 执行 一 次 rebalance， 然 后 在 监控 界面 上 等 待 刷 新， 接着 运行 第 二 次 rebalance 命 令 ， 具 体 命令 如 下 : 
storm rebalance flash-sale -e find-recommended-saljes=4 
storm rebalance flash-sale -e lookup-sales-details=4 


好 了 ，rebalance 的 配置 操作 已 经 完成 ， 大 约 10 分 钟 后 ， 我 们 可 以 看 到 调整 的 结果 ， 如 图 6.9 所 示 。 


你 会 惊讶 地 发 现 ， 我 们 对 find-recommended-sales bolt 增 加 了 并 行 性 ， 但 容量 结果 并 没有 发 生变 化 。 依 然 是 之 前 的 运行 
负 倚 效果 ， 这 短 么 可 能 ”从 spout 流 入 的 元 组 流 并 没有 做 任何 变动 ， 而 只 有 我 们 的 bolt 曾 被 判断 为 瓶颈 。 如 果 我 们 使 用 一 个 真实 
的 队列 ， 消 息 不 可 能 会 在 这 里 产生 备份 的 。 但 注意 容量 的 评判 指标 save-recommended-sales bolt 已 经 提升 到 0.3， 但 数据 依然 
很 低 ， 所 以 我 们 不 需要 担心 这 里 会 成 为 瓶 须 。 
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图 6.9 ”Storm UI 上 展示 了 第 一 次 为 两 个 bolt 增 加 并 行 性 之 后 ， 容 量 上 出 现 的 细微 变化 
让 我 们 再 试 一 遍 吧 ， 这 一 次 分 别 为 两 个 bolt 都 配置 双 倍 的 并 行 性 ， 看 看 效果 如 何 ， 命 令 如 下 : 


storm rebalance flash-sale -e find-recommended-sales=8 
storm rebalance flash-sale -e lookup-sales-details=8 


接 下 来 我 们 假设 执行 完 rebalance 命 令 之 后 ， 观 察 10 分 钟 ， 效 果 如 图 6.10 所 示 。 
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图 6.10 ”Storm UI 上 展示 了 为 两 个 bolt 加 们 配置 执行 器 之 后 ， 容 量 上 出 现 的 细微 变化 


find-recommended-sales 和 lookup-sales-details 的 容量 依然 没有 变化 ， 也 许 在 spout 后 的 队列 真 的 出 现 了 备份 情况 。 尽 
管 如 此 ，save-recommended-sales 的 容量 此 时 翻 倍 了 。 如 果 我 们 逐渐 提高 前 两 个 bolt 的 并 行 性 ， 那 这 里 反而 会 出 现 壮 贷 ， 所 以 
我 们 不 得 不 做 相应 的 提升 。 接 下 来 ， 对 两 个 bolt 的 并 行 性 设置 为 双 倍 ， 然 后 将 save-recommended-sales 的 bolt 并 行 性 配置 为 四 


倍 ， 命 令 如 下 : 


storm rebalance fljash-sale -e find-recommended-sales=16 
storm rebalance flash-sale -e lookup-sales-details=16 
storm rebaljance flash-sale -e save-recommended-sales=4 


执行 完 这 三 个 rebalance 命 令 后 ， 等 待 10 分 钟 左 右 ， 再 观察 监控 反馈 ， 效 果 如 图 6.11 所 示 。 
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图 6.11 Storm UI 上 展示 了 拓扑 上 所 有 bolt 配 置 调整 后 容量 上 的 改进 


太 棒 了 ! 我 们 终于 在 容量 效率 优化 上 实现 了 突破 ，spout 的 数量 也 成 为 我 们 的 限制 参数 。 在 拓扑 中 ， 一 旦 当 我 们 接 入 了 真实 
消息 队列 ， 我 们 需要 检查 并 确定 消息 流 能 符合 定 下 的 SLA 标 准 。 在 我 们 的 案例 中 ， 我 们 并 不 关心 消 息 是 人 否 被 备份 保 仔 ， 只 是 关心 
消息 处 理 的 时 效 性 。 如 果 任 务 花 费 的 时 间 过 长 ， 我 们 就 需要 通过 刚才 的 步 进 调 书 方 式 ， 增 加 spout 的 并 行 性 参数 。 哪 怕 配 置 的 
spout 并 行 性 参数 超过 了 当前 小 型 拓扑 的 测试 学 围 ， 也 不 用 担心 ， 大 可 放手 去 验证 。 


增加 执行 器 的 并 行 性 与 增加 工作 结 点 的 等 级 


到 目前 为 止 ， 我 们 还 没有 接触 到 调整 工作 结 点 的 并 行 性 。 事 实 上 ， 所 有 的 事务 都 可 以 运行 在 一 个 独立 的 工作 结 点 搭配 一 个 
spout 上 ， 不 需要 太 多 的 工作 结 点 。 所 以 我 们 的 建议 是 尽 可 能 在 拥有 执行 器 的 单 工作 结 点 上 做 扩展 ， 直 到 对 执行 器 的 提升 已 经 到 
达 性 能 的 扩展 极限 为 止 。 我 们 刚才 应 用 在 bolt 上 的 扩展 手段 ， 也 同样 适用 于 spout 和 工作 结 点 。 


6.3.4 ”spout: 控制 数据 流入 拓扑 的 速率 


如 果 经 过 上 面 的 优化 还 无 法 达到 SLA 的 要 求 ， 那 么 接 下 来 束 需 要 看 看 是 人 否 可 以 调整 数据 流入 拓扑 的 速率 ， 来 控制 spout 上 的 
并 行 性 ， 这 里 有 两 个 因子 我 们 需要 考虑 : 


"spout 的 数量 。 


在 我 们 拓扑 中 每 个 spout 上 允许 配置 的 最 大 元 组 数量 。 
Ca 
QO, 


在 我 们 开始 之 前 ， 回 忆 一 下 第 4 章 中 我 们 讨论 过 的 消息 处 理 保障 机 制 ， 以 及 Storm 如 何 使 用 元 组 树 来 判断 从 一 个 spout 发 射出 


的 一 个 元 组 是 否 被 完整 处 理 。 这 里 当 我 们 提 到 应 答 或 者 上 线 一 个 元 组 时 ， 都 是 指 一 棵 元 组 树 没有 被 标记 为 完全 处 理 。 


这 两 个 因子 (spout 的 数量 和 上 绪 元 组 的 最 大 数量 ) 始终 会 纠缠 在 一 起 。 我 们 首先 讨论 一 下 第 二 点 ， 因 为 它 的 效果 更 微妙 。 
Storm 的 spout 中 有 一 个 概念 叫 pending (spout 的 最 大 待命 数 ) max spout， 系 统 允 许 你 为 元 组 设置 一 个 最 大 值 ， 可 以 在 任意 
时 间 取 消 这 些 元 组 的 应 答 关系 。 在 FlashSaleTopologyBuilder 的 类 中 ， 我 们 就 将 最 大 待命 数 设置 为 250: 


builder 
.SetSpout (CUSTOMER RETRIEVAL SPOUT, new CustomerRetrievalSpout()) 
.SetMaxSpoutPending (250) ; 


通过 将 并 行 性 的 值 设 置 为 250， 我 们 就 可 以 确保 在 每 个 spout 的 任务 中 ， 同 一 时 间 可 以 对 250 个 元 组 取消 应 答 关 系 。 如 果 我 
们 有 两 个 spout 实 例 ， 那 么 将 具有 两 个 任务 ， 设 置 方式 如 下 : 
2 spouts x2tasks x250max spout pendineg=1000unacked tuples possible 


当 你 在 拓扑 中 配置 并 行 性 时 ， 那 么 很 重要 的 一 件 事 束 是 确保 最 大 待命 数 不 是 整个 系统 中 的 找 贷 。 如 果 可 取消 应 答 的 元 组 数量 
低 于 你 在 拓扑 中 设置 的 总 并 行 性 ， 那 么 这 个 点 很 有 可 能 成 为 你 的 系统 瓶 宙 。 在 这 个 案例 中 ， 我 们 可 以 这 样 设置 


16 个 find-recommended-sales bolt 
* 16 个 lookup-sales-details bolt 
. 4 个 saved-recommended-sales bolt 
这 样 残 可 以 提供 36 个 用 于 执行 处 理 的 元 组 了 。 


在 这 个 案例 中 ， 基 于 一 个 独立 的 spout， 我 们 的 最 大 可 取消 应 答 的 元 组 数 是 2250， 远 大 于 我 们 基于 并 行 性 36 配 置 的 最 大 可 执 
行 元 组 数量 ， 所 以 我 们 可 以 目 信 地 判断 spout 的 最 大 待命 数 不 会 造成 系统 瓶 贷 ， 如 图 6.12 所 示 。 


如 果 spout 的 最 大 待命 数 导致 了 酒 贷 ， 为 什么 不 直接 设置 为 全 部 呢 ? 因 为 如 果 完 全 不 控制 ， 元 组 会 持续 涌 入 拓扑 ， 而 不 关心 
你 的 处 理 能 力 是 否 能 跟 得 上 。 因 此 最 大 待命 数 提供 了 对 沅 入 速率 的 控制 手段 ， 如 果 不 控制 的 话 ， 可 能 会 导致 拓扑 因为 迫 于 过 大 的 
数据 量 而 朋 演 。 最 大 待命 数 还 允许 我 们 为 拓扑 树立 起 一 道 大 坝 ， 用 于 抵消 压力 ， 避 免 运 行 过 载 。 我 们 强烈 建议 ， 无 论 在 什么 情况 


下 ， 都 要 设置 最 大 待命 数 。 


| Aaa" 


对 每 个 spout 实例 配置 
最 大 待命 数 为 250， 我 们 
就 能 实现 同一 时 间 内 处 理 


Customer 


Retrieval 


SDOUt 
最 多 250 个 取消 应 答 的 
元 组 
[customer="134/3827"| 由 于 同一 时 间 可 能 取 
消 应 容 的 元 组 数量 远 多 
于 我 们 能 同时 处 理 元 组 
ee 运行 16 个 任务 Do 人 
效 不 会 构成 瓶颈 


Sales 


[customer=”" L47302Z1", 
sales=List ("2324","7366")] 


我 们 总 共有 36 个 
任务 (bolt 的 实例 )， 
这 意味 痢 我 们 可 以 
同时 处 理 36 个 元 组 


运行 16 个 任务 


[LeusStomer=” 40271 7 
sales=List (Sale@7442df79,Sale@1662pbc63)|] 


| 


SdVve 
Recommended 运行 4 个 任务 
Sales 


图 6.12 ”因为 最 大 待命 数 大 于 我 们 配置 的 一 次 性 可 处 理 的 最 大 元 组 数量 ， 所 以 这 里 不 会 构成 瓶颈 


当 我 们 尝试 通过 提升 效率 的 万 式 来 满足 SLA 时 ， 可 以 通过 提高 spout 的 并 行 性 或 者 最 大 待命 数 来 增加 数据 的 吞吐 量 。 如 果 在 
最 大 激活 元 组 数 人 允许 的 情况 下 ， 将 配置 提升 四 倍 ， 我 们 会 友 现 消息 在 队列 中 的 传输 速率 会 大 幅 提 升 也许 不 需要 设置 到 四 倍 ， 融 
可 以 看 到 提升 效果 了 ) 。 如 果 通 过 这 些 操 作 ， 可 能 导致 任意 一 个 我 们 的 bolt 容 量 恢复 全 1 或 者 接近 于 1， 那 么 我 们 残 需要 再 次 调节 
bolt， 重 复 以 上 步骤 ， 直 到 性 能 指标 满足 SLA 标 准 。 如 果 调 整 spout 和 bolt 的 并 行 性 不 能 这 来 额外 的 提升 ， 束 需要 调整 工作 结 操 
的 数量 ， 来 看 看 是 否 因为 受到 了 运行 中 JVM 的 限制 导致 ， 如 果 是 融 需 要 调节 JVM 的 并 行 性 了 。 这 些 都 是 基本 的 技巧 ， 通 单 经 过 
不 断 重复 尝试 ， 大 部 分 情况 下 都 能 获得 接近 SLA 指 标的 结果 。 


如 果 你 调 优 的 拓扑 需要 涉及 调用 外 部 服务 ， 那 么 务必 牢记 以 下 几 个 要 后: 


1. 在 调用 外 部 服务 时 (例如 一 个 SOA (Service-Oriented Architecture， 面 向 服务 的 架构 ) 、 数 据 库 或 文件 系统 ) ， 容 易 出 
现 将 一 个 拓扑 中 并 行 性 参数 提 得 很 高 ， 然 后 因为 触 碰 到 外 部 服务 的 处 理 极 限 ， 导 致 整体 容量 值 再 也 无 法 提升 。 所 以 在 你 对 需要 与 
外 界 服 务 友 生 交 互 的 拓扑 上 执行 并 行 性 调整 时 ， 务 必 先 明确 服务 的 度量 指标 。 我 们 可 以 在 find-recommended-sales bolt 上 持 
续 提升 并 行 性 参数 ， 这 很 容易 让 “Find My Sales! ”的 服务 瘫痪 掉 ， 流 量 出 现 巨大 堵塞 ， 这 绝对 不 是 我 们 所 期 望 的 。 


2. 第 二 点 就 是 天 于 延迟 度 ， 这 个 指标 束 更 微妙 了 ， 要 想 解 释 清 楚 还 需要 补充 一 些 背 景 相关 信息 ， 所 以 在 此 之 前 ,我 们 再 检查 
一 下 设置 的 并 行 性 参数 ， 以 及 它 所 市 来 的 改进 。 


你 可 以 通过 执行 以 下 命令 ， 来 获取 接 下 来 案例 的 代码 : 


glt checkout 0.0.3 


6.4 延迟 率 : 当 外 部 系统 依然 能 正 弟 工作 时 


我 们 再 看 看 代码 优化 层面 上 另外 一 个 障碍 : 延迟 率 (latency) 。 延 迟 率 据 的 是 你 的 系统 伦 在 请 求 执 行 到 获得 应 答 期 间 的 等 
待 时 间 。 在 你 的 电脑 上 ， 访 问 内 存 会 出 现 延 迟 ， 硬 盘 的 读 写 会 出 现 延 迟 ， 从 网 络 上 去 登陆 另外 一 台电 脑 也 会 出 现 延 迟 ， 区 别 就 在 
于 不 同 的 服务 存在 不 同 级 别 的 延迟 率 。 所 以 在 对 拓扑 执行 调 估 时， 务必 先 了 解 基 于 计算 机 层面 上 的 各 方面 延迟 因子 。 


6.4.1 在 拓扑 中 模拟 延迟 


如 果 仔 细 看 看 拓扑 中 的 代码 ， 你 会 发 现在 Database.java 的 代码 中 会 有 这 样 的 一 段 : 
private final LatencySimulator latency = new LatencySimulator! 
20, 10,; 30,; 1500, 11}; 


public void save(String customerId, List<Sale> sale, int timeoutInMil]1l1is) { 
latency.simulate (timeoutInMil11lis).; 


| 


如 果 你 还 没 看 完 代 码 ， 别 担心 ， 我 们 先 在 这 里 讲解 一 下 最 重要 的 几 个 部 分 。 其 中 ，LatencySimulator 类 是 我 们 构建 一 个 拓 
扑 时 ， 让 它 的 行为 表现 融 像 是 在 和 一 个 外 部 服务 之 间 交 互 。 任 何 你 在 交互 中 产生 的 延迟 场景 〈 例 如 访问 电脑 中 的 内 存 、 访 问 网 络 
的 文件 服务 器 ) ,任何 系统 上 展示 出 来 的 延迟 状态 ， 都 会 被 LatencySimulator 模 拟 出 来 。 


让 我 们 先 分 解 一 下 它 的 5 个 构造 立 数 参数 ， 如 图 6.13 所 示 。 


注意 ， 我 们 并 不 想 表 达 延 迟 率 可 以 达到 一 个 我 们 的 期 望 平均 值 ， 因 为 这 不 是 延迟 率 的 本 质 。 通 常情 况 下 ， 你 都 会 得 到 一 个 比 
较 固定 的 应 答 时 间 ， 而 那些 突 友 应 答 时 间 的 范围 又 非常 广 ， 原 因 大 任 如 下 : 


Low Latency Varlance() : High Latency Varlance() : 


每 个 请 求 花 费时 间 (ms) 和 最 低 人 允许 偶 移 量 类 似 ， 为 
上 允许 的 侦 移 量 ， 一 般 来 我 们 的 虚构 数据 库 应 容 时 
说 每 个 请 求 通 弟 设 罩 为 20 间 ， 通 常 来 说 可 以 设置 宽 一 
双 | 29 ms | | 点 ， 从 30 到 1529 ms 
new LatencySimulator (20, 30, 1500, 1 


Low Latency Floor() On Latency i 出 现 较 遍 延 到 对 的 


一 个 正常 请求 完成 的 最 和 最 少 消 耗 时 间 类 似 ， 为 比例 ，99% 的 应 答 时 
少 消耗 时 间 (ms) 小 部 分 拥有 较 局 延 开 请求 间 都 应 该 处 于 20 到 29 
的 最 少 消耗 时 间 (ms ) ms 之 间 ， 大 约 只 有 最 

后 剩余 部 分 会 非常 慢 


图 6.13 ”LatencySimulator 分 解 
“ 外 部 服务 启用 了 一 个 垃圾 回收 事务 。 
某 一 个 网 络 交换 机 可 能 出 现 过 载 了 。 


- 你 同事 可 能 写 了 一 个 查询 语句 ， 基 本 上 占用 了 当前 全 部 CPU 时 间 。 


©O,, 


在 我 们 的 日 常 工作 中 ， 大 部 分 系统 都 运行 在 JVM 上 面 ， 同 时 我 们 也 常 使 用 Coda Hale 提 供 的 度量 工作 库 Metrics Libraryl | ，s 


像 Netflix 使 用 的 Hystrix libraryl 来 评测 当前 系统 的 延迟 率 ， 并 执行 相应 的 调整 。 


我 们 的 拓扑 在 与 其 他 系统 交互 的 时 候 ， 产 生 的 实际 延迟 率 如 表 6.1 所 示 。 从 表格 中 ， 我 们 可 以 看 到 每 个 服务 从 应 答 最 佳 的 表 
现 到 最 差 的 情况 。 但 其 中 最 需要 注意 的 就 是 ， 大 约会 经 过 多 长 时 间 后 ， 我 们 才 会 遭遇 延迟 。 事 实 上 ， 相 比 其 他 服务 ， 数 据 库 花 费 
的 时 间 最 长 ， 但 比 起 FlashsaleRecommendationsService 却 很 少 出 现 延 迟 ， 而 后 者 的 延迟 占用 率 基 本 上 和 前 者 相差 一 个 数量 


级 ， 也 许 这 里 有 什么 是 我 们 需要 注意 的 。 


表 6.1 外 部 服务 的 延迟 率 


EE 


FlashSaleRecommendationService 


FlashSsaleService TE ET 


Database 


先 看 看 FindRecommendedSales 的 代码 ， 其 中 有 这 么 一 段 : 


高 占 比 % 


private final static int TIMEOUT = 200; 


@Override 


public void prepare (Map config, TopologyContext context) 1 
client = new FlashSaleRecommendationClient (TIMEOUT). 


我 们 为 每 个 客户 查询 推荐 商品 时 ， 已 经 设置 了 200ms 的 超时 。 但 200 这 个 数字 是 否 真 的 满足 需求 吗 ? 如 果 为 了 让 拓扑 正确 工 
作 ， 这 个 设置 可 能 是 对 的 。 如 图 6.14 所 示 ， 看 看 最 后 一 行 报错 ， 你 会 及 现 我 们 所 有 的 bolt 都 在 报 超 时 ， 这 残 能 说 通 了 。 我 们 在 获 
取 推 荐 结果 时 ， 只 能 等 待 200ms， 然 后 根据 表 6.1 来 看 ， 十 个 请 求 中 间 会 有 至 少 一 个 触 碰 高 征 迟 异常 ， 这 会 导致 花费 大 约 150 到 
1049ms 来 返回 正确 的 结果 ， 十 个 请 求 中 有 九 个 会 在 150ms 内 返回 。 所 以 这 里 有 两 类 主要 原因 导致 问题 的 出 现 : 外 因 
(extrinsic) 和 内 因 (intrinsic) 。 


1d Last error 

find- backtype.storm,.topology.ReportedFailedException: stormapplied.flashsale.services. Timeout:; 
recommended- ... Timeout after 200ms at 

sales stormapplied.flashsale.topology.FindRecommendedSales.execute(FindRecommendedSales.java 


backtype.storm.topology.ReportedFailedException: stormapplied.flashsale.services.Timeout: 


本 -Sales- Timeout after 100ms at 
stormapplied.flashsale.topology.LookupSalesDetails.execute(LookupSalesDetails.java:44) 

Save- backtype.storm.topology.ReportedFailedException: stormapplied.flashsale.services. Timeout:; 

recommended-  … Timeout after SOms at 

sales stormapplied.flashsale.topology.SaveRecommendedSales.execute(SaveRecommendedSales,.java: 


图 6.14 Storm UI 展示 了 每 个 bolt 上 报 出 的 最 近 一 个 错误 


[1] https:/ /github.com/ dropwizatd/metrics 


[2] https:/ /github.com/ Nettl ix/ Hystrix 


6.4.2 ”延迟 的 外 因 和 内 因 
导致 延迟 的 外 因 是 和 数据 完全 没有 关系 的 因素 ， 例 如 因为 网 络 的 原因 或 者 是 出 现 垃 圾 回收 事务 ， 这 些 都 可 能 导致 触发 延迟 。 
我 们 唯一 能 做 的 就 是 不 断 重 试 ， 并 且 按 情况 来 分 别 讨论 。 


导致 延迟 的 内 因 主 要 和 数据 有 天 ， 在 我 们 的 演示 案例 中 ， 在 为 客户 得 找 推荐 商品 时 可 能 会 花费 较 长 的 时 间 去 等 竺 应答。 无 论 
bolt 中 的 元 组 重 试 后 失败 了 多 少 次 ， 我 们 都 无 法 获得 为 客 尸 查找 的 商品 返回 值 ， 这 里 出 现 的 延迟 时 长 会 更 长 。 外 因 和 内 因 还 能 
相 结 合 起 来 ， 两 者 之 间 还 不 会 产生 排 奈 。 


好 吧 ， 那 我 们 接 下 来 该 在 拓扑 上 做 些 什 么 呢 ? 由 于 需要 和 外 部 服务 交互 ， 那 么 我 们 可 以 不 借助 提升 并 行 性 的 方式 ,采取 其 他 
途径 提高 数据 吞吐 量 ， 尝 试 去 降低 延迟 率 。 我 们 必须 要 找到 延迟 率 的 罚 点。 


好 吧 ， 基 于 我 们 的 分 析 可 以 看 到 ， 针 对 为 客户 查找 推荐 的 商品 ， 也 就 是 FlashSale-RecommendationService 这 个 方法 在 过 


程 中 存在 一 定 偏 移 误 差 ， 情 况 大 致 如 下 : 
75% 的 客户 查询 可 以 实现 在 125ms 内 返回 查询 结果 。 
` 15% 的 客户 查询 需要 花费 大 约 125 到 150ms 时 间 。 
. 剩 下 10% 的 客户 查询 需要 至 少 200ms 以 上 ， 甚 至 高 达 1500mas。 


这 些 束 是 因为 数据 而 导致 延迟 率 出 现 的 内 因 ， 当 然 即 使 是 面 对 效率 最 高 的 客 尸 查询， 也 会 因为 一 些 外 部 原因 导致 返回 结果 出 
现 延 迟 。 验 证 这 种 问题 的 一 种 策略 就 是 在 每 个 查询 前 执行 一 次 初始 化 ， 基 于 一 个 固定 超时 值 来 预 估 每 个 查询 的 返回 情况 。 例 如 在 
我 们 的 案例 中 ， 可 以 先 设置 一 个 超时 值 为 150ms， 如 果 查 询 失 败 ， 那 么 束 将 这 个 查询 任务 分 派 给 一 个 较 低 并 行 性 的 bolt， 配 置 一 
个 更 长 的 超时 计算 来 获得 返回 。 如 果 在 灌 入 大 量 数据 之 后 ， 处 理 的 结果 显示 大 量 的 数据 都 出 现 超时 情况 ， 那 么 我 们 融 能 判断 这 其 
中 必然 有 外 部 因素 在 影响 延迟 。 如 果 90% 的 请 求 都 超过 了 150ms， 那 么 很 有 可 能 是 因为 : 


1. 客 户 这 边 出 现 内 部 问题 。 
2. 可 能 存在 stop-the-world 这 种 垃圾 回收 机 制 在 影响 处 理 效率 。 


那么 你 面临 的 问题 可 能 需要 不 同 的 策略 来 应 对 ， 应 用 前 务必 先 测试 ， 所 以 这 里 我 们 先 看 看 其 中 一 种 方法 ， 使 用 如 下 命令 先 更 
新 代码 全 版 本 0.0.4: 


glt checkout 0.0.4 


首先 我 们 看 看 FindRecommendedSales 和 FlashSaleTopologyBuilder 代 人 码 的 区 别 |: 


程序 清单 6-6” 带 重 试 逻 辑 的 FindRecommendedSales.java 


public class FindRecommendedSales extends BaseBasicBolt f{ 
public static final String RETRY STREAM = "retry"; 


public static final String SUCCESS STREAM = "success"; 
rivate FlashSaleRecommendationClient client, 
不 要 将 超时 的 
@Override 时 长 设置 写 死 ， 
public void prepare (Map config, 直接 从 拓扑 的 配 
TopologyContext context) { 置 中 读 取 
long timeout = (Long)config.get ("timeout"),; 一 一 
client = new FlashSaleRecommendationClient( (int)timeout); 
} 
@Override 
public void execute (Tuple tuple, 
BasicOutputCollector outputCollector) { 
String customerId = tuple.getStringByField("customer");} 如 果 可 以 正常 拿 到 
try { 
List<String> sales = client.findSalesFor (customerId).,; 返回 值 直接 发 射出 去 ， 
if (!sales.isEmpty()) { 现在 可 以 先 发 送 到 
outputCollector.emit (SUCCESS _ STREAM， SUCCESS_STREAM 中 


new Values (customerId, SalLes) ) :; 


} 


} catch (Timeout e) { 
outputCollector.emit (RETRY STREAM, new Values (customerId)); 


| 这 里 我 们 不 需要 再 抛 出 Reported- 
| FailedException， 如 果 抽 到 了 起 


ne 时 ， 直 接 将 customerId 发射 到 一 个 
} 独立 的 RETRY STREAM 流 


再 看 看 FlashSaleTopologyBuilder 的 代码 部 分 : 


结果 ， 我 们 之 前 是 将 


builder 


.SetSpout (CUSTOMER RETRIEVAL SPOUT, new CustomerRetrievalSpout()) 
.SetMaxSpoutPending (250),， 


builder 
.SetBolt (FIND RECOMMENDED SALES FAST, new FindRecommendedSsales(), 16) 
.addConfiguration("timeout", 150) 
.SetNumTasks (16) 
.ShuffleGrouping (CUSTOMER RETRIEVAL SPOUT); 


builder 

.SetBolt (FIND RECOMMENDED SALES SLOW, new FindRecommendedSales ()， 16) 

.addConfiguration("timeout", 1500) 

.SetNumTasks (16) 

.ShuffleGrouping (FIND RECOMMENDED SALES FAST, 
FindRecommendedSales.RETRY STREAM) 

.ShuffleGrouping (FIND RECOMMENDED SALES SLOW, 
FindRecommendedSales .RETRY STRERAM) ; 


builder 
.SeEtBolt (LOOKUP SALES DETAILS, new LookupSalesDetails(), 16) 
.SetNumTasks (16) 
.ShuffleGrouping (FIND RECOMMENDED SALES FAST, 
FindRecommendedSales .SUCCESS STREAM) 
.ShuffleGrouping (FIND RECOMMENDED SALES SLOW, 
FindRecommendedSales .SUCCESS STRERAM) ; 


builder 


.SeEtBolt (SAVE RECOMMENDED SALES, new SaveRecommendedSales(), 4) 
.SetNumTasks (4) 


.ShuffleGrouping (LOOKUP SALES DETAILS ) ; 


我 们 之 前 有 一 个 bolt 是 FindRecommendedSales， 现 在 配置 了 两 个 ， 其 中 一 个 用 于 “快速 ”查询 ， 另 外 一 个 用 于 “ 完 
整 ” 查 询 ， 先 看 看 实现 “快速 ”查询 的 代码 : 


builder 
.SetBolt (FIND RECOMMENDED SALES FAST, new FindRecommendedSales(), 16) 
.addConfiguration("timeout", 150) 


.SetNumTasks (16) 
.ShuffleGrouping (CUSTOMER RETRIEVAL SPOUT 1) ; 


这 简直 就 和 我 们 之 前 的 FindRecommendedsSales bolt 完 全 相同 ， 只 是 多 了 一 个 额外 条 件 : 
.addConfiguration("timeout", 150) 


这 其 实 就 是 我 们 在 使 用 bolt 的 prepare () 方法 ， 去 初始 化 FindRecommendationSalesClient 超 时 时 间 时 时 设置 的 值 (ms 
级 别 ) 。 每 一 个 进入 “快速 ”查询 的 元 组 一 旦 操作 超过 150ms， 将 会 报 超时 并 发 射 到 重 试 数据 流 中 ， 而 以 下 是 “完整 ”查询 的 
FindRecommendedSales bolt 代 码 : 


builder 
.SeEtBolt (FIND RECOMMENDED SALES SLOW, new FindRecommendedSales(), 16) 
.addConfiguration("timeout", 1500) 
.SetNumTasks (16) 


.ShuffleGrouping(F IND RECOMMENDED SALES FAST, 
FindRecommendedSales .RETRY STREAM |) 

.ShuffleGrouping(F IND RECOMMENDED SALDLES SLOW, 
FindRecommendedSales .RETRY STREAM) ; 


注意 这 里 设置 了 1500ms 的 超时 : 


.addConfijguration("timeout", 1500) 


这 也 是 我 们 用 来 做 内 因 排 查 的 最 长 等 街 时间 ， 而 另外 两 个 随机 分 组 的 作用 又 是 什么 呢 ? 


.ShuffleGrouping (FIND RECOMMENDED SALES FAST, 
FindRecommendedSales .RETRY STREAM |) 

.ShuffleGSrouping (FIND RECOMMENDED SALES SLOW, 
FindRecommendedSales .RETRY STREAM) ; 


我 们 已 经 将 FindRecommendedSales bolt 与 两 个 不 同 的 流连 接 了 起 来 ， 分 别 对 应 自 两 个 “快速 ”和 “完整 ”查询 版 本 的 
FindRecommendedSales bolt 的 重 试 数据 流 。 无 论 超时 出 现在 哪 一 个 版 本 的 bolt 中 ， 它 们 都 将 被 友 射 到 对 应 版 本 的 数据 流 中 ， 
以 较 慢 的 速度 持续 执行 查询 。 


我 们 还 需要 在 拓扑 上 做 一 个 较 大 的 改动 ， 对 于 我 们 下 一 个 bolt， 也 就 是 LookupSales-Details， 需 要 从 由 
FindRecommendedSales 两 个 bolt 构 成 的 重 斌 数据 流 中 获取 执行 成 功 的 元 组 : 
builder.setBolt (LOOKUP SALES DETAILS, new LookupSalesDetails(), 16) 
. SetNumTasks (16) 
.ShuffleGrouping (FIND RECOMMENDED SALES FAST, 
FindRecommendedSales .SUCCESS STREAM ) 
.ShuffleGrouping (FIND RECOMMENDED SALES SLOW, 
FindRecommendedSales .SUCCESS STREAM) ; 


对 于 未 来 的 下 游 流 数据 ， 我 们 可 以 在 上 面 的 bolt 应 用 类 似 的 模式 。 在 评估 对 性 能 有 潜在 影响 的 因素 前 ， 需 要 仔细 评判 这 些 额 
外 负担 的 复杂 度 ， 一 切 都 是 具备 交换 性 的 。 


让 我 们 再 回 到 之 前 的 判断 ， 还 记 的 LookupSalesDetails 的 代码 中 可 能 导致 无 法 查询 商品 明细 的 部 分 么 ? 


@Override 
public void execute (Tuple tuple) f 
String customerId = tuple.getStringByField('"customer").; 
List<String> SaleIds = (List<String>) tuple.getValueByField("sales").,， 
List<Sale> sales = new ArrayList<Sale>(),， 
for (String saleIdq: saleIds) 1{ 
try 1 
Sale sale = client.lookupSale (salelId),; 
sales.add (sale).; 
} catch (Timeout e) { 
outputCollector.reportError (e) ; 


| 
| 


if (Sales.isEmpty()) { 
outputCollector.fail (tuple); 
} else { 


outputCollector.emit (new Values (customerId, sales)).,; 


outputCollector.ack (tuple).; 


为 了 获取 性 能 这 里 做 了 一 些 受 协 ， 我 们 不 得 不 接受 为 每 个 客户 推荐 商品 时 ， 可 能 偶尔 会 出 现 的 查询 失败 ， 在 允许 的 学 围 内 依 
然 疝 客 户 上 发 送 导购 邮件 ， 以 便 能 达到 定 下 的 SLA 标 准 。 但 这 样 的 决定 影响 面 有 多 大 呢 ?到底 有 多 少 商品 无 法 推送 给 客户 呢 ? 就 目 
前 来 说 ， 这 个 问题 没 法 回答 。 不 过 庆幸 的 是 ，Storm 提 供 了 内 置 的 度量 工具 ， 指 导 我 们 来 评估 。 


6.5 ”Storm 的 指标 统计 API 


在 Storm 早 期 的 版 本 ， 如 0.9.x 系 列 中 ， 指 标 只 有 一 个 雏形 。 你 可 以 在 Ul 中 看 到 一 些 有 关 折 扑 的 基础 指标 ， 但 如 果 你 想 基 于 
业务 层 ， 或 者 JVM 层 获取 相关 指标 ， 你 就 得 完全 靠 自己 了 。 Storm 现 在 提供 的 指标 API 提 供 了 相当 丰富 的 度量 指标 ， 基 本 可 以 解 
决 你 目前 能 遇 到 的 任何 问题 : 例如 了 解 我 们 在 LookupSalesDetails bolt 中 到 底 丢 失 了 多 少 精度 。 


6.5.1 ”使 用 Storm 的 内 建 CountMetric 
首先 更 新 一 下 案例 源 代 码 ， 输 入 命令 行 : 
glit checkout 0.0.5 


我 们 在 LookupSalesDetail bolt 中 做 的 改动 如 代码 清单 6.7 所 示 。 


程序 清单 6-7 包含 度量 指标 的 LookupSalesDetails.java 


public class LookupSalesDetails extends BaseRichBolt ({ 


用 于 存放 
查询 商品 的 
private final int METRICS WINDOW = 60; 计数 变量 
private transient CountMetric salesLookedUp; 
private transient CountMetric salesLookupFailures; | 
用 于 存放 查 
@Override 询 商 品 失 败 的 
public void prepare (Map config, 计数 变量 
TopologyContext context, 
OutputCollector outputCollector) { 
salesLookedUp = new CountMetric(),; 
, 注册 查询 商品 
context.registerMetric("sales-looked-up", i 
SI A A= 
salesLookedUp, 的 指标 ， 每 60 
METRICS WINDOW); 秒 上 报 一 次 计数 
salesLookupFailures = new CountMetric(); 
. . mm 本 三 ] nm \、 LU、 
CoDntext .zeg9isterzrMetLric ( ee ee ee 7 注册 查询 商品 失败 
salesLookupFailures, i | 
: 的 指标 ， 每 60 秒 上 
METRICS WINDOW) ; == i 
} 报 一 次 计数 
@Override 


public void execute (Tuple tuple) { 


String customerId = tuple.getStringByField('"customer").,; 
List<String> salelIds = (List<String>) tuple.getValueByField("sales"),; 


List<Sale> sales = new ArrayList<Sale>();} 
for (String salelId: salelds) { 
ey 
Sale Sale = client.lookupSale(saleId).,， 
sales.add (sale); 如 果 出 现 一 次 超时 ， 
} catch (Timeout e) { 在 查询 商品 失败 的 计 
outputCollector.reportError (e); 数 变 量 上 加 一 


salesLookupFailures.incr(); 


| 
| 


if (sales.isEmpty()) { 基于 商品 列表 
outputCollector.fail (tuple); 的 大 小 来 增加 商 
} else f 品 的 查询 次 数 


salesLookedUp.incrBy (sales.size()),， 
outputCollector.emit (new Values (customerId, sales)).,， 
outputCollector.ack (tuple),， 


我 们 在 prepare () 方法 中 创建 并 注册 了 两 个 CountMetric 实 例 : 一 个 用 于 统计 查询 商品 详情 成 功 的 次 数 ， 另 一 个 用 于 统计 
查询 失败 的 次 数 。 


6.5.2 ”设置 一 个 握 标 接收 器 


现在 我 们 已 经 拥有 了 一 些 基 础 的 原始 数据 ， 稍 后 将 对 这 些 数据 做 记录 ， 但 是 在 开始 之 前 ， 我 们 必须 先 设置 一 个 接收 器 。 一 个 
接收 器 是 |MetricsConsumer 的 接口 实现 ， 它 就 像 在 Storm 和 外 部 系统 之 间 搭 建 了 一 个 桥梁 ， 例 如 Statsd 或 者 是 Riemann。 在 这 


个 案例 中 ， 我 们 将 使 用 现成 提供 的 LoggingMetricsConsumer。 当 一 个 拓扑 运行 在 本 地 模式 时 ，LoggingMetricsConsumer 将 
和 标准 输出 形式 (stdout) 以 日 志 形 式 输 出 。 我 们 可 以 在 LoggingMetricsConsumer 中 添加 如 下 代码 : 


Config config = new Config(),; 
config.setDebug (true), 
config.registerMetricsConsumer (LoggingMetricsConsumer.class, 1);， 


例如 我 们 已 经 在 一 个 时 间 窗 口内 成 功 实现 了 350 个 商品 的 查询 : 


244565 [Thread-16- metricsbacktype.storm.metric.LoggingMetricsConsumer] 
INFO backtype.storm.metric.LoggingMetricsConsumer - 1393581398 
localhost:1 22:lookup-sales-details sales-looked-up 水 


在 一 个 远程 集群 上 ，LoggingMetricsConsumer 将 把 信息 层面 的 消息 保存 至 文件 ， 和 存放 在 Storm 日 志 目 录 下 名 为 
metrics.log 的 文件 里 。 我 们 也 可 以 在 部 署 一 个 集群 时 ， 通 过 添加 如 下 配置 以 开启 指标 的 日 志 : 


public class RemoteTopologyRunner 1{ 


private static Config createConfig(Boolean debug) |{ 


Config config = new Config(); 


config.registerMetricsConsumer (LoggingMetricsConsumer.class, 1); 


Storm 的 内 置 指标 已 经 相当 丰富 了 ， 但 如 果 你 需要 的 不 在 系统 内 置 中 呢 ? 幸运 的 是 ，Storm 提 供 了 扩展 自 定义 指标 的 能 
你 可 以 创建 基于 特定 需求 的 目 定 义 指标 。 


6.5.3 ”创建 一 个 目 定 义 的 SuccessRateMetric 


我 们 已 经 拥有 原始 措 标 了 ， 接 下 来 希望 通过 上 自 定 义 的 计算 方式 ， 形 成 自 定义 的 指标 。 其 实 我 们 不 关心 原始 数据 层面 上 的 成 功 
或 失败 而 更 关心 成 功 的 比例 ， 而 Storm 没 有 提供 一 个 内 建 的 措 标 来 计算 成 功率 ， 所 以 我 们 可 以 自己 创建 一 个 类 来 实现 该 指标 。 
SuccessRateMetric 的 代码 如 代码 清单 6.8 所 示 。 


程序 清单 6-8 SuccessRateMetric.java 


计 算 
成 功率 ， 
并 返回 
结果 值 


public class SuccessRateMetric implements IMetric { 


> 


double SuccesSsS ; 用 于 统计 
public void incrSuccess (Long incrementBy) { 

success += Double.valueoft (IncrementBY) ; 用 于 统计 
} 失败 次 数 的 


public void incrFail(long incrementBy) { 
fail += Double.valueOf (ijncrementBy); 


} 任何 需要 实 
现 IMetric 
@Override 接口 时 都 要 实 
public Object getValueAndReset() { 现 的 方法 
double rate = (success / (success + fail)) * 100.0， 
SUCCeSS = 0; 
重 置 统 
fail = 0; 、 
计 值 


return rate,; 


} 
| 


调用 新 的 统计 指标 的 代码 如 代码 清单 6.9 所 示 。 


程序 清单 6-9 ”使 用 自 定义 指标 的 LookupSalesDetails.java 


public class LookupSalesDetails extends BaseRichBolt { 


private final int METRICS WINDOW = 15,; 


private transient SuccessRateMetric successRates; 


新 的 成 功 
@Override 率 指 标 
public void prepare (Map config, 
TopologyContext context, 
OutputCollector outputCollector) { 
successRates = new SuccessRateMetric(),; 
context.registerMetric("sales-lookup-success-rate", 
successRates, 
METRICS WINDOW); | 
) 注册 成 功率 指 
标 ， 上 报 过 去 
@Override 15 秒 的 成 功率 
public void execute (Tuple tuple) { 
List<Sale> sales = new ArrayList<Sale>(); 
for (String saleId: salelIds) { 
try { 
Sale sale = client.lookupSale (salelId).,， 
川 一 次 
sales.addq(sale) ; 如 果 出 现 
} catch (Timeout e) { 超时 ， 在 失败 计 
successRates.incrFail (1); 数 上 加 一 
outputCollector.reportError (e) ; 
} 
} 
if (sales.isEmpty()) { 如 果 有 返回 
outputCollector.fail (tuple); 值 ， 在 成 功 计 
} else { 数目 籼 一 


successRates.incrSuccess (sales.size()),， 
outputCollector.emit (new Values (customerId, sales)).,， 
outputCollector.ack (tuple),; 


基本 上 闫 不 多 了 ， 我 们 注册 了 一 个 指标 (只 是 换 了 种 形式 ) ， 然 后 将 成 功 和 失败 的 结果 都 传 给 它 ， 输 出 的 结果 基本 上 接近 我 
们 的 期 望 效 果 了 : 


124117 [Thread-16- metricsbacktype.storm.metric.LoggingMetricsConsumer!] 
INFO backtype.storm.metric.LoggingMetricsConsumer - 1393581964 
localhost:1 32:l]lookup-sales-details sales-lookup-success-rate 
98.13084112149532 


你 也 可 以 目 己 过 试 一 下 ， 输 入 以 下 命令 获取 源码 : 


glit checkout 0.0.5 
mvn clean complile -P local-cluster 


局 \， 会 有 不 少 输出 哦 ! 


6.5.4 创建 一 个 目 定 义 的 MultiSuccessRateMetric 


接 下 来 ， 我 们 在 生产 环境 中 做 了 实施 ， 业 务 的 同事 看 了 很 高 兴 ， 但 很 快 他 们 融 提 出 希望 了 解 客户 对 应 不 同 准确 率 的 比例 情 
况 。 换 句 话 说 ， 我 们 需要 记录 每 个 客户 的 成 功 和 失败 情 ; 


至 运 的 是 ，Storm 提 供 了 一 个 指标 是 MultiCountMetric， 专 门 应 用 于 类 似 的 场景 ， 只 是 它 使 用 的 是 CountMetrics， 而 不 是 
SuccessRateMetrics。 但 这 很 简单 ， 我 们 只 需要 基于 此 创建 一 个 属于 我 们 自己 的 指标 就 可 以 了 : 


git checkout 0.0.6 


新 的 指标 MultiSuccessRateMetric 代 码 如 代码 清单 6.10 所 示 。 


程序 清单 6-10 MultiSuccessRateMetric.java 


public class MultiSuccessRateMetric implements IMetric { 分 别 将 每 个 独立 
Map<String, SuccessRateMetric> rates = new HashMap (); , 
HY SUCccessRate- 
public SuccessRateMetric scope(String key) { : Metric 实例 存 进 一 
SuccessRateMetric rate = rates.get (key),; 个 散 列 家中 ,使 用 
customer ID 作为 
if (rate == null) { 主键 ， 这 样 就 可 以 
rate = new SuccessRateMetric().,， 追踪 每 个 客户 了 
es , rates.put (key, rate);) 基于 给 定 的 主 刍 
客户 的 成 功 (customer ID) 返回 
率 映 射 ， 接 return rate; ee 
着 为 每 人 洛 | 。 ee 
户 重 置 对 应 户 没 有 该 指标 上 ， 则 
的 成 功率 指 | 。 Ver Ce 为 他 创建 一 个 新 的 
Re > public Object getValueAndReset() { RE 
“， 人 外 厂 渍 Map ret = new HashMap () ; 
空 映射 
for (Map.Entry<String, SuccessRateMetric> e : rates.entrySet()) { 


ret .put (e.getKey(), e.getValue() .getValueAndReset () ) ; 


| 


rates.clear().; 


return ret. 


AN 一 一 


这 个 类 很 简明 扼要 ， 我 们 分 别 在 一 个 散 列 表 中 存储 独立 的 SuccessRateMetrics 指 标 ， 然 后 使 用 customer 1D 作 为 主键 ， 这 
样 惑 能 人 奶 踪 每 个 客户 的 成 功 和 失败 情况 了 ， 接 下 来 要 做 的 就 是 实现 相关 计算 ， 改 动 很 小 ， 代 码 如 代码 清单 6.11 所 示 。 


程序 清单 6-11 ”拥有 新 MultiSuccessRateMtetric 指 标的 LookupSalesDetails.java 


public class LookupSalesDetails extends BaseRichBolt { 
新 的 MultiSuccess- 


ic 指标 
private transient MultiSuccessRateMetric successRates; jhatewetric 指 


@Override 
public void prepare (Map config, 
TopologyContext context, 


OutputCollector outputCollector) 


successRates = new MultiSuccessRateMetric(); 


context.registerMetric("sales-lookup-success-rate", 


successRates, 
METRICS WINDOW); 


| 


@Override 
public void execute (Tuple tuple) { 


人 


注 册 Multi- 
SuccessRate- 
Mettric， 上 报 过 


去 15 秒 的 成 功率 


< 二 一 一 


String customerId = tuple.getStringByField("customer").,; 


List<String> SaleIds = (List<String>) 
List<Sale> sales = new ArrayList<Sale>(),; 
for (String saleId: saleIds) { 
try { 
Sale Sale = client.lookupSale (salelId).,， 
sales.add(sale).,; 
} catch (Timeout e) { 


successRates.scope (customerId) .incrFail(1); 
outputCollector.reportError (e) ; 


| 
} 


if (sales.isEmpty()) { 
outputCollector.fail (tuple); 
} else { 


tuple.getValueByField("sales"),， 


如 果 失 败 ， 在 指定 customer 
ID 的 失败 计数 上 加 一 


如 果 有 返回 值 ， 
在 指 定 Customer 
TD 的 成 功 计 数 上 加 


一 -一 


successRates.scope (customerId) .incrSuccess (Sales.Ssize()) ; 


outputCollector.emit (new Values (customerId, 
outputCollector.ack (tuple); 


现在 我 们 束 可 以 为 业务 同事 提供 他 们 需要 的 目 定 义 指标 了 


79482 [Thread-16- 


INFO backtype.storm.metric.LoggingMetricsConsumer - 
sales-lookup-success-rate 
Customer-7461335=80 .0,， 


localhost:4 24:lookup-sales-details 
{customer-7083607=100.0, 
Customer-3681336=66.66666666666666, 
Customer-7060775=100 .0 ， 
CUStomeLzc-1092131=1L00.0， 
customer-3629821=100.0,， 
Customer-8189083=80 .0,， 
customer-4922670=100 .0,， 
Customer-2611914=66 .66666666666666, 
Customer-2312606=1]100.0,， 
Customer-552426=100.0,， 
customer-6724584=100.0,， 
customer-1654684=100.0, 


Customer-3720160=100.0,， 


Customer-9784547=100.0,， 
Customer-7444284=80.0,， 
Customer-5855112=50.0,， 


日 志 信 息 提供 了 一 个 使 用 新 指标 的 样 例 : 包谷 一 个 customer ID 列表 ， 
实现 100% 的 查询 成 功 : 


customer-8395305=1]00.0,， 
customer-7983628=100.0,， 
customer-8967727=100.0,， 


sales)); 


metricsbacktype.storm.metric.LoggingMetricsConsumer!] 


L3950B2do2 


Customer-2744429=100.0,， 


Customer-8012734=100.0,， 
Customer-2247874=100.0,， 
customer-6121]1500=100.0,， 
customer-8620951]1=100.0,， 


Customer-3659041]=100.0,， 
Customer-1886068=1]100.0,， 
Customer-8381332=100.0,， 


Customer-845974=100.0,， 


customer-2002923=100.0,， 
Customer-5385092=100.0,， 
customer-1299479=100.0} 


每 个 对 应 的 成 功率 指标 。 其 中 我 们 会 友 现 有 个 客户 能 


CUuStomer-224/8/14=100.0 


有 了 这 个 数据 ， 我 们 束 可 以 了 解 到 底 多 少 客 己 可 以 收 到 完整 的 内 购 邮 件 了 。 


6.6 小 结 


在 本 章 中 ， 你 学 到 了 
“ Storm UI 上 可 以 找到 拓扑 中 所 有 基于 时 间 维 度 的 信息 。 
- 在 你 的 拓扑 上 调 优 的 第 一 步 是 为 性 能 指标 设置 一 个 基准 值 。 
“ 借助 提高 并 行 性 参数 ， 可 以 就 一 个 spout/bolt 的 高 容量 占用 指标 来 判断 系统 瓶颈 。 
: 提升 并 行 性 可 以 获得 不 错 的 性 能 提升 ， 有 助 于 你 理解 每 个 步骤 产生 的 影响 和 效果 。 
` 延迟 率 主要 与 数据 (内 因 ) 和 非 数 据 〈 外 因 ) 有 有关， 你 可 以 通过 调 低 拓扑 的 输出 通 量 来 判断 具体 原因 。 


“ 指标 (无论 内 置 还 是 自 定义 ) 对 你 理解 拓扑 的 真实 运行 状态 有 很 重要 的 帮助 。 


第 / 草 ”和 贷 源 冲 突 


本 章 要 操 : 
在 一 个 Storm 集 群 中 的 工作 进程 冲突 
在 一 个 工作 进程 (JVM) 中 的 内 存 冲突 
. 在 一 个 工作 结 点 上 的 内 存 冲突 
. 工作 结 点 的 CPU 冲突 
. 工作 结 点 的 网 络 /socket 输入 /输出 (I/O) 冲突 
工作 结 点 的 磁盘 1/ 〇 冲突 


在 第 6 草 中 ， 我 们 讨论 了 如 何 基 于 拓扑 层面 执行 调 优 。 调 优 是 一 项 非常 重要 的 技能 ， 它 有 助 于 支持 你 将 拓扑 顺利 部 署 到 生产 
环境 中 ， 但 也 仅 是 所 有 环节 中 的 一 小 部 分 。 你 的 拓扑 需要 在 这 个 Storm 集群 中 与 其 他 拓扑 共同 生存 ， 它 们 中 间 有 一 些 需要 占用 极 
高 的 CPU 用 于 数学 运算 ， 有 一 些 会 消耗 大 量 的 网 络 市 宽 ， 以 此 类 推 ， 组 件 各 目 在 资源 上 的 需求 都 不 一 致 。 


因此 在 本 章 ， 我 们 将 介绍 存在 于 Storm 集 群 中 的 各 类 资源 以 及 它们 各 目的 分 工 和 作用 。 人 人 都 希望 一 个 Storm 集 群 不 要 存在 
各 类 资源 上 的 冲突 ， 所 以 这 里 基于 一 个 案例 的 演示 ， 来 理解 如 何 进 行 冲 突 的 排查 和 处 理 。 在 快速 地 理解 本 草 的 内 容 之 后 ， 再 来 回 


顾 忆 前 遇 到 的 问题 可 能 又 会 有 新 的 认识 。 


十 上 


在 本 章 的 前 三 节 ， 将 基于 单 见 的 几 类 冲突 问题 提出 一 些 通 用 的 解决 方案 。 我 们 建议 先 仔细 学 习 这 三 节 ， 因 为 这 部 分 内 容 是 讨 
论 后 续 问 题 的 基础 和 铺垫 ， 以 便 更 容易 理解 针对 特定 冲突 的 解决 方案 。 


我 们 在 本 章 中 定义 部 分 冲突 时 ， 会 提 到 一 部 分 术语 ， 这 有 助 于 理解 在 冲突 问题 中 涉及 部 署 到 storm 中 的 具体 哪个 组 件 。 如 图 


7.1 所 示 ， 资 源 部 分 都 及 用 加 粗 的 万 式 标注 出 来 ， 你 应 该 对 其 中 大 部 分 概念 都 很 熟悉 了 吧 ， 如 果 还 没 记 住 ， 请 务必 再 看 看 下面 这 
张 图 ， 确 保 理 清 了 组 件 之 间 的 关系 。 


集群 有 且 只 有 一 个 一 个 集群 由 多 个 结 点 组 成 ， 每 个 结 点 婚 
主 结 点 ， 上 和 面 运行 的 可 以 是 物理 机 ， 也 可 以 是 虚拟 机 ， 上 面 可 
后 台 程 序 叫 Nimbus 以 安 乡 任意 操作 系统 

Storm 集群 


工作 结 点 工作 结 点 


点 ， 上 面 运行 的 后 台 程 
工作 进程 | | 工作 进程 ] 百 台 程 
序 叫 Supervisor 


主 结 所 


工作 结 点 工作 结 点 


工作 进程 


每 个 工作 进程 部 是 
工作 进程 工作 进程 一 个 JVM， 用 于 执行 


拓扑 上 spout 和 bolt 的 
逻辑 


每 个 执行 器 (线程 ) 可 以 执行 一 个 或 
多 个 任务 ( 一 个 spout 或 bolt 的 实例 ) 


每 个 JVM 可 以 运行 一 个 
或 多 个 执行 器 (线程 ) 


图 7.1 在 一 个 Storm 集 群 中 的 各 类 结 点 ， 每 个 结 点 都 分 解 为 工作 进程 和 其 他 部 分 


每 种 场景 中 如 何 评估 各 方案 的 适用 性 。 


在 熟悉 了 这 些 定义 之 后 ， 让 我 们 先 从 “通用 方案 ”开始 说 起 ， 调 整 一 下 工作 结 点 上 工作 进程 JVM) 的 数量 。 在 了 解 了 这 
种 “通用 方案 ”之 后 ， 才 有 助 于 我 们 理解 后 续 


面 对 操 作 系统 层面 上 的 冲突 时 ， 如 何 选择 操作 系统 


每 个 人 在 管理 、 维 护 和 诊断 一 个 Storm 集 群 上 问题 时 的 经 验 是 不 同 的 ， 我 们 尽 可 能 履 盖 你 会 面临 的 主要 问题 以 及 需要 的 工 
有 具 ,但 即使 这 样 ， 你 遇 到 的 情况 和 我 们 也 会 不 一 样 。 在 不 同 服务 器 上 的 集群 配置 是 不 同 的 ， 每 人 台 机 器 上 的 JVM 数 量 也 会 不 一 样 ， 
所 以 没 人 能 告诉 你 应 该 如 何 去 配 置 部 署 。 因 此 我 们 能 做 的 是 提出 面 对 问 题 时 的 判断 和 解决 思路 。 目 前 虽然 大 部 分 操作 系统 都 可 以 
运行 Storm， 但 操作 系统 层面 上 的 问题 却 相当 多 样 性 ， 所 以 这 里 我 们 选择 一 个 典型 的 操作 系统 来 讲解 : 基于 Linux。 


在 本 章 中 讨论 的 所 有 工具 ， 都 可 以 在 各 种 版 本 的 Linux 中 找到 ， 也 可 以 以 其 他 类 似 功能 的 形式 存在 其 他 UNIX 类 操作 系统 ， 如 


Solatis 或 FreeBSD。 如 果 你 用 的 是 Windows 系 统 ， 那 可 能 需要 多 论点 时 间 来 寻找 类 似 功 能 的 工具 ,但 原理 上 类 似 。 这 里 要 注意 的 


是 ， 我 们 提 到 的 工具 并 不 是 万 能 的 ， 它 只 能 提供 一 个 基础 的 支持 。 要 想 判 断 生产 环境 中 集群 的 问题 ， 还 需要 你 先 熟悉 这 些 工 具 以 
及 对 应 的 操作 系统 。 书 籍 、 搜 索引 擎 、Stotm 的 邮件 列表 、IRC 聊 天 室 或 者 运 维 的 同事 都 是 能 为 你 提供 帮助 和 支持 的 渠道 。 


7.1 ”调整 一 个 工作 结 吕 上 运行 的 工作 进程 数量 


在 本 章 各 小 节 中 ， 有 一 个 判断 冲突 的 方式 是 调整 一 个 工作 结 点 上 运行 的 工作 进程 数量 ， 如 图 7.2 所 示 。 


个 工作 进程 


你 可 以 配置 工作 结 点 上 运行 的 工作 进程 数量 ， 这 是 面 
ces 时 ， 可 以 采用 的 通用 解决 方案 ， 我 们 
会 讨论 其 中 大 部 分 情况 


图 7.2 ”一 个 工作 结 点 上 运行 着 大 量 的 工作 进程 


在 一 些 情况 中 ， 这 意味 着 需要 增加 工作 进程 的 数量 ， 在 另外 一 些 情况 中 ， 则 需要 调 低 工作 进程 的 数量 。 我 们 将 这 
分 解 到 各 小 节 中 讲解 ， 以 便 你 可 以 随时 随地 能 回顾 中 间 的 细节。 


你 面临 的 冲突 需要 考虑 在 一 个 工作 结 点 上 增加 或 调 低 工作 进程 的 数量 。 


7.1.2 解决 方案 


每 个 工作 结 点 前 是 一 个 物理 或 
虚拟 服务 硕 ， 在 spout 和 bolt 中 运 
行业 务 逻 辑 的 工作 进程 
案例 中 ， 每 个 工作 结 点 都 运行 4 


。 在 这 个 


个 解决 方案 


一 个 工作 结 点 上 的 工作 进程 数量 是 由 supervisor.slots.ports 的 属性 来 定义 的 ， 分 别 保 存在 每 个 工作 结 点 的 storm.yaml 配 置 


文件 中 。 这 个 属性 还 定义 了 每 个 工作 进程 用 于 监听 消息 的 端口 号 。 该 属性 中 的 默认 配置 如 代码 清 蛙 7.1 所 示 。 


程序 清单 7-1 supervisor.slots.ports 的 默认 配置 


supervisor.slots.ports 
= 6701 
- 61702 
- 6703 
- 6704 


要 增加 工作 结 点 上 可 运行 的 工作 进程 数量 ， 只 需要 在 该 刘表 中 添加 一 个 端口 即 可 。 相 反 的 ， 如 果 要 减少 工作 结 点 上 可 运行 的 
工作 进程 数量 ， 只 需要 在 该 列表 中 删 挥 一 个 端口 即 可 。 


更 新 这 些 属性 后 ， 你 需要 重新 启动 工作 结 点 上 的 Supervisor 进 程 ， 以 便 使 得 修改 生效 。 如 果 按 照 第 5 章 里 讲解 的 安装 方法 ， 
你 将 Storm 安 装 在 /opt/storm 目 录 下 ， 那 束 需 要 先 杀 掉 Supervisor 进 程 ， 然 后 用 如 下 命令 做 重启 : 


/opt/storm/bin storm supervisor 


重启 之 后 ，Nimbus 会 更 新 配置 文件 ， 然 后 基于 列表 中 定义 的 端口 重新 分 友 消 息 。 


7.1.3 讨论 


Storm 默 认为 每 个 工作 结 点 配置 了 4 个 工作 进程 ， 每 个 工作 进程 分 别 监听 端口 6701、6702、6703 和 6704。 通 常情 况 下 ,在 
刚 创 建 一 个 集群 的 时 候 ， 是 不 需要 担心 配置 这 些 细 书 的 。 但 如 果 需 要 增加 端口 ， 那 么 请 先 确 定 这 个 端口 是 人 否 被 占用 ， 例 如 在 
Linux 下 的 工具 netstat 右 可 能 因为 占用 而 出 现 冲 突 。 


关于 工作 结 点 的 另外 一 件 事 就 是 你 需要 考虑 集群 中 的 结 点 数量 。 如 果 需 要 大 范围 的 调整 ， 甚 至 是 对 成 百 上 干 台 服务 器 做 配置 
更 新 ， 或 者 大 规模 重启 9upervisor 进 程 ， 这 将 是 一 件 相当 耗 时 且 枯 燥 的 工作 。 所 以 这 里 推荐 大 家 使 用 一 个 工具 ， 叫 
Puppet (http://puppetlabs.com) 来 为 每 个 结扎 执行 目 动 化 部 署 和 配置 。 


7.2 ”修改 工作 进程 (JVM) 上 的 内 存 分 配 
在 本 章 的 部 分 章节 里 ， 用 于 判断 冲突 的 解决 方法 是 修改 每 个 工作 结 点 上 工作 进程 JVM) 的 内 存 分 配 。 


在 某 些 情况 下 ， 这 意味 着 需要 对 某 些 内 存 做 提升 ， 某 些 情 况 下 也 意味 着 需要 去 调 低 。 但 无 论 是 出 于 何 种 解决 方案 ,调整 的 步 
又 是 一 样 的 ， 接 下 来 我 们 单独 残 这 部 分 做 一 些 讨论 。 


你 面 对 的 问题 是 需要 对 运行 中 的 工作 结 点 上 的 工作 进程 做 内 存 分 配 量 的 调整 。 


7.2.2 解决 方案 


对 于 调整 一 个 工作 结 点 上 全 部 工作 进程 (JVM) 的 内 存 分 配 ， 可 以 在 每 个 工作 结 点 的 storm.yam| 配 置 文件 中 修改 
worker.childopts 属 性 。 这 里 的 属性 包含 了 所 有 JVM 相 关 的 启动 选项 ， 提 供 了 配置 内 存 分 配 池 初始 化 的 参数 (-Xms) ， 以 及 为 
工作 结 点 上 JVM 最 大 分 配 的 内 存 池 参 数 (-Xmx) 。 如 代码 清单 7.2 所 示 ， 这 里 仪 需要 关注 和 内 存 相关 的 参数 调整 。 


程序 清单 7-2 ”在 storm.yaml 中 配置 worker.childopts 


worker.childopts: "... 
-Xms512m 
-Xmxl1024m 


TI 


这 里 要 注意 很 重要 的 一 点 ， 就 是 修改 了 这 里 的 参数 将 更 新 指定 工作 结 点 上 的 全 部 工作 进程 。 同 时 在 更 新 配置 之 后 ， 你 需要 重 
启 Supervisor 进 程 ， 使 结 点 上 的 改变 生效 。 如 果 你 将 Storm 安 装 在 /opt/storm 目 录 下 ， 那 么 如 同 我 们 在 第 5 章 中 讨论 的 安装 路 
径 ， 你 需要 先 杀 掉 Supervisor 进 程 ， 然 后 在 使 用 以 下 命令 重启 服务 。 


/opt/storm/bin storm supervisor 


重启 之 后 ， 结 点 上 的 全 部 工作 进程 (JVM) 都 将 按照 新 配置 的 内 存 数 量 来 运行 。 


7.2.3 讨论 


在 提升 JVM 容 量 之 后 ， 有 一 点 需要 注意 ， 那 瓯 是 需要 确保 工作 结 点 (物理 机 或 虚拟 机 ) 本 身 拥有 足够 的 内 存 。 否 则 无 论 你 
多 大 的 -Xmx 参 数 ， 工 作 结 点 都 无 法 支撑 配置 生效 。 此 时 需要 做 的 束 是 先 调 整 物理 机 或 虚拟 机 分 配 到 JVYM 上 的 内 存 用 量 。 


另外 一 个 技巧 就 是 我 们 建议 你 把 -Xms 和 -Xmx 参 数 都 配置 为 一 样 的 值 。 因 为 如 果 值 不 同 ，JVM 需 要 对 堆 (heap) 做 管理 ， 
主要 基于 堆 的 使 用 情况 ， 动 态 调整 堆 的 大 小 。 而 我 们 发 现 这 种 对 堆 的 调整 其 实 并 没有 必要 ， 所 以 建议 设置 为 同样 的 参数 ， 反 而 可 
以 降低 在 堆 调 整 上 的 消 冰 。 这 种 策略 也 是 基于 JVM 的 内 存 调用 机 制 ， 因 为 在 JVM 的 生命 周期 中 堆 的 容量 其 实 始终 是 个 固定 值 。 


7.3 ”定位 拓扑 上 运行 的 工作 结 点 /进程 


本 章 的 部 分 小 节 中 都 会 涉及 工作 结 点 和 工作 进程 级 别 的 冲突 。 通 单 情况 下 ， 冲 突 会 在 Storm UI 上 显示 错误 的 信息 ， 无 论 是 
在 调整 的 过 程 中 ， 还 是 调整 之 后 。 在 这 些 场景 中 ， 你 需要 学 会 判断 拓扑 上 ， 具 体 是 影响 到 哪 一 个 工作 结 点 或 者 是 哪 一 个 工作 进 
程 。 


当前 你 的 拓扑 面临 一 个 冲突 上 的 问题 ， 需 要 先 确 认 受 影响 的 是 哪 一 个 工作 结 点 以 及 哪 一 个 工作 进程 。 


7.3.2 ”解决 万 案 


解决 冲突 需要 充分 利用 Storm UI， 从 中 找到 判断 拓扑 中 间 题 的 依据 。 我 们 建议 先 从 bolt 区 域 中 寻找 线 床 ， 如 图 7.3 所 示 ， 其 
中 一 个 bolt 束 出 现 问 题 了 。 


Storm UI 
Topology summary 
Name Id Status Uptime Num workers Num executors Num tasks 
github-commit-count github-commit-count-1-1422718402 ACTIVE 23m 28s 2 5 5 
Topology actions 
irone Denote [Rao Fh 
Topology stats 
Window Emitted Transferred Complete latenoy (ms) Aoked Failed 
10m O08 0 0 0.000 0 0 
3h Om 0s 0 0 0.000 0 0 
1d Oh 0m0s 0 0 0.000 0 0 
All time 0 0 0.000 0 0 
Spouts (All time) 
Id Executors Tasks Emitted Transferred Complete latency [ms) Acked Failed Error Host Error Port Last error 
commit-feed-listaner 1 | D 0 0000 0 0 
Bolts (All time) 
Capacity Execute Process Emor 
Id Executors Tasks Emitied Transferred (last latency Executed latency Acked Failed Error Host Port Last error 
10m) {ms) (ms) 
amail- 1 1 0 D 0.000 0.000 0 0.000 0 D 
counter 
amail- 1 1 0 0 0.000 0.000 0 0.000 0 [ 172.20.102 6700 javalangOutOfMemo : Java heap space at 
extractor Java.util.Arrays.copyOflArrays.jsava'31 时 at 


spp ee at 
java .util.ArrayList.ensureExplicitCapacity(ArrayList.java 


当 在 指定 拓扑 上 诊断 问题 时 ， 我 们 通 稼 先 从 指定 
拓扑 的 bolt 区 域 开 始 ， 寻 找 可 能 的 线索 。 在 当前 这 
个 场景 中 ， 看 上 去 我 们 的 email-extractor bolt 好 像 出 
现 了 内 存 不 足 的 问题 


图 7.3 ”在 Storm UI 中 对 指定 的 拓扑 做 故障 诊断 


当 检 测 到 问题 出 在 哪 一 个 bolt 上 后 ， 接 下 来 就 需 要 定位 问题 bolt 中 的 具体 问题 和 相关 细节 。 这 时 ， 你 可 以 开始 检查 
Executors 和 Errors 区 域 中 每 个 独立 bolt 的 情况 ， 如 图 7.4 所 示 。 


Executors 区 域 将 显示 每 个 独立 bolt 的 详情 ， 包 括 该 bolt 运 行 所 在 的 工作 结 点 和 工作 进程 。 那 么 ， 如 果 当 前 出 现 冲突 ， 那 你 
基本 上 可 以 定位 问题 了 ， 接 下 来 要 做 的 区 是 按照 既 有 步骤 进行 故障 的 修复 。 


7.3.3 讨论 


Storm UI 是 你 最 好 的 伙伴 ， 因 为 一 旦 融 悉 了 各 个 区 域 所 传递 的 功能 价值 ， 融 可 以 很 轻松 地 在 第 一 时 间 了 解 冲突 的 类 型 。 实 
践 告诉 我 们 ， 最 有 价值 的 经 验 束 是 能 快速 找到 问题 所 在 ,包括 拓 扑 、bolt、 工 作 结 点 或 工作 进程 。 


如 果 冲 突 看 上 去 是 发 生 如 果 冲 突 看 上 去 是 发 生 在 工作 进 Ee 上 上， 那么 Port 列 
在 工作 结 点 的 层面 上 ， 那 将 告 ee 监听 的 端口 号 。 这 里 会 基于 该 工作 
么 Host 列 将 告 口 - 诉 我 们 对 应 结 点 . 上 的 工作 进程 产 及 一 个 日 志 ， gp 写 来 
运行 的 工作 结 点 命名 《例如 这 tn 6702 .lo0g ) 
Executors | pr 
Id Uptime | Host Port Emitted Transferred Capacity (last 10m) Execute latency (msj Executed ”Process latency (ms) Acked Failed 
[7-7])} 17s | 172.20102 | | 6702 ] 0 0 0.000 0.000 0 0.000 0 0 
Errors 
Time Error Host = Error 


Sat, 31 172.20.10.2 6702 java.lang.OQutOfMemoryError: Java heap space at java.util.Arrays.copyOf(Arrays.java:3181) at java.util.ArrayList.grow(ArrayList.java:261) at 

Jan Java.util.ArrayList. rrp tr pr java:235) at java.util.Ar tensureCapacitylnternal(ArrayList.java:227) at 

2015 java.util.ArrayList.add(ArrayList .java:458) at 

10:09:34 stormapplied,githubcommits,topology,EmailExtractor.produceOutOfMemoryErrorEmailExtractor,java:34) at 

-05:00 stormapplied., rl topology.EmailExtractor. ert en beer td pe ee 25) at 

backtype,storm.topclogy.BasicBoHExecutor.executelBasicBoHtExecutor.java:50) at 

backtype,storm.daemon.executorSin _3441$tuple_action_fn_3443. rs 和 clj:633) at 
backtype,storm.daemon， executorSmk_task_receiver$fn__3364.invoke(executor.clj:401) at 
backtype.storm.disruptor$clojure_handler$reify_ 1447.o0nEvent(disruptor.clj:58) at 
backtype.storm.utils.DisruptorQueue.consumeBatchToCursor(DisruptorQueue.java:125) at 
backtype.storm.utils.DisruptorQueus.consumeBatchWhenAvailable(DisruptorQueue.java:99) at 
backtype,.storm.disruptor$consume_batch_when_available.invoke(disruptor.clj:80) at 
backtype.storm.daemon.executorSin_3441$fn 3453$fn_3500.invoke(executor.clj:748) at 
backtype.storm.util$async_loop$fn__464.invokel(util.clj:463) at clojure.lang.AFn.run(AFn.java:24) at java.lang.Thread.run(Thread.java:745) 


如 果 冲 突 看 上 去 是 发 生 在 工作 进程 (JVM ) 的 层面 上 ， 那 
么 我 们 就 需要 登录 到 该 主机 ， 然 后 查看 一 下 对 应 工作 进程 的 

日 志文 件 。 如 采 我 们 的 安 痛 路 径 是 /optstorm， 那 么 日 志文 件 
的 存储 路 径 就 应 该 是 /optstornylogs/worker-6702.log 


党 


图 7.4 在 Storm UI 上 观察 特定 bolt 的 执行 器 及 其 报错 信息 ， 判 断 发 生 在 工作 结 点 和 工作 进程 上 出 现 的 问题 


尽管 这 是 一 个 强大 的 工具 ， 但 Storm Ul 也 并 不 能 提供 你 所 有 需要 的 信息 ， 所 以 它 仪 能 作为 一 个 参考 来 提供 适当 的 信息 ， 支 
撑 你 深入 了 解 每 个 独立 工作 结 点 ， 或 目 定义 的 bolt 运 行 健康 状态 。 因 此 你 不 能 完全 依赖 于 Storm UI 传递 出 来 的 信息 ， 你 需要 一 
些 其 他 的 万 式 来 覆盖 问题 的 判断 方式 。 最 后 你 需要 知道 的 是 ， 问 题 并 不 在 于 出 现在 什么 地 方 ， 而 是 什么 时 候 会 出 现 。 


7.4 ”在 一 个 Storm 集 群 中 的 工作 进程 冲突 


当 你 安装 了 一 个 Storm 集 群 ， 你 将 默认 为 工作 结 点 配置 一 些 固 定数 量 的 工作 进程 。 每 当 你 部 署 一 个 新 的 拓扑 到 和 集群， 你 都 需 

要 指定 拓扑 需要 包 合 多 少 工作 进程 。 所 以 你 一 定 会 遇 到 一 种 情况 ， 融 是 在 增加 拓扑 中 工作 进程 时 ， 并 不 确定 这 些 工作 进程 是 人 否 已 

经 家 指派 到 现 有 的 拓扑 中 。 这 也 因此 导致 拓扑 存在 不 可 用 的 情况 ， 因 为 一 旦 没有 了 工作 进程 ， 拓 扑 将 无 法 进行 数据 处 理 和 加 工 ， 
如 图 7.5 所 示 。 


在 尝试 部 蜀 一 个 新 的 拓扑 到 该 
集群 时 ， 就 会 出 现 无 法 分 配 新 的 
工作 进程 。 这 是 因为 所 有 的 工作 
进程 都 已 经 全 部 分 配 到 现 有 的 拓 
扑 中 了 


国 国 拓扑 ^ 使 用 的 工作 进程 
| | 拓扑 B 使 用 的 工作 进程 
|] 拓扑 C 使 用 的 工作 进程 


图 7.5 ”Storm 集 群 中 全 部 进程 都 被 指派 给 拓扑 的 演示 


如 图 7.5 所 示 ， 这 种 问题 你 一 定 会 遭遇 到 ， 斑 运 的 是 ， 这 种 问题 很 容易 被 判断 出 来 ， 只 需要 在 Storm UI 中 观察 Summary 页 
面 ， 如 图 7.6 所 示 。 


在 Storm UI 中 ，slot 对 应 于 工作 进程 


Cluster Summary 


Version Nimbus uptime Supervisors Used slots Free slots Total slots Executors Tasks 


0.9.3 26m 4s 1 2 2 5 5 


( 一 个 有 2 个 可 用 slot 的 集群 


Cluster Summary 


Version Nimbus uptime Supervisors Used slots Free slots Total slots Executors Tasks 


0.9.3 25m 17s 1 全 0 4 7 和 


一 个 集群 没有 可 用 的 slot， 那 么 集群 中 的 
拓扑 可 能 都 会 出 现 工作 进程 层面 上 的 冲突 


图 7.6 ”Storm UI: 可 用 有 效 slot 数 量 为 0， 这 意味 着 拓扑 面临 slot 冲 突 


在 storm UI 中 ， 你 发 现 一 个 拓扑 没有 在 执行 任何 处 理 动 作 ， 或 者 在 过 程 中 突然 停止 了 下 来 ， 没 有 可 用 的 空 洒 slot。 


7.4.2 解决 方案 


由 于 你 在 配置 拓扑 时 ， 都 需要 至少 配 置 一 个 固定 数量 的 工作 进程 ， 你 可 以 通过 以 下 这 些 策略 操作 来 判断 问题 : 
` 减少 现存 拓扑 在 用 的 工作 进程 数量 。 

: 增加 该 集群 中 工作 进程 的 总 数量 。 

减少 现存 拓扑 在 用 的 工作 进程 数量 


这 是 最 快 也 是 最 容易 为 集群 中 其 他 拓扑 释放 slot 的 方法 。 但 这 样 也 许 无 法 完成 你 现 有 拓扑 的 SLA 指 标 ， 不 过 如 果 在 调整 的 过 
程 中 没有 对 拓扑 的 SLA 指 标 产 生 影 响 ， 那 我 将 强烈 推荐 你 及 用 这 种 万 式 来 调整 分 配 。 


一 个 拓扑 中 需要 的 工作 进程 数量 需要 在 代码 中 执行 构造 ， 并 提交 人 至 Storm 和 集群 的 拓扑 中 。 代 码 如 代码 清单 7.3 所 示 。 
程序 清单 7-3 ”为 一 个 拓扑 配置 工作 进程 的 数量 


Import backtype.storm.Config; 
import backtype.storm.StormSubmitter; 
lmport backtype.storm.topology.TopologyBuilder:; 


TopologyBuilder builder = new TopologyBuilder(); 


// build the various pieces of your topology here 在 这 里 为 拓 

2X 了 本 

十 |、 古 了 虹 ra 寺 

Config config = new Config(),， 扑 配 置 工作 进 
config.setNumWorkers (2) ; -| 程 的 数量 


StormSubmitter.submitTopology ("topology-name", 
CONnfid. 
builder.createTopology()).; 


如 果 你 的 SLA 不 允许 减少 你 集群 中 其 他 拓扑 的 slot 数 量 ， 你 就 可 能 需要 为 集群 增加 新 的 工作 进程 。 


增加 该 集群 中 工作 进程 的 总 数量 


这 里 有 两 种 方式 来 提升 集群 中 的 工作 进程 忌 数量 ， 其 中 一 种 是 基于 7.1 世 中 介绍 的 步骤 ， 为 你 的 工作 结 点 增加 工作 进程 。 但 
如 果 你 的 工作 结 点 没有 足够 的 资源 来 文 返 额 外 的 JVM ， 这 种 方法 也 不 管用 。 所 以 在 这 种 情况 下 ， 你 融 需 要 为 集群 直接 增加 更 多 
的 工作 绪 点 ， 方 法 是 配置 更 多 的 工作 进程 池 。 

我 们 建议 如 果 可 以 的 话 ， 尽 可 能 配置 新 的 工作 结 点 ， 因 为 这 样 对 现 有 的 拓扑 影响 最 少 ， 人 否则 直接 在 现 有 的 结 点 上 调度 进程 将 


触 友 一 些 潜在 的 站 突 。 


7.4.3 讨论 


工作 进程 级 别 的 冲突 可 能 是 由 多 种 原因 导致 的 ， 一 部 分 是 内 因 ， 而 另外 一 部 分 是 外 因 ， 场 景 大 致 包含 如 下 情况 : 


你 部 署 的 新 集群 所 需要 消耗 的 工作 进程 数 远大 于 集群 中 现 有 可 用 的 Slot 数量 。 
` 你 部 署 拓 扑 的 集群 中 没有 可 用 的 slot。 
一 个 工作 结 点 挂 了 ， 时 致 可 用 的 slot 数 量 减少 ， 因 此 可 能 在 现 有 的 拓扑 中 产生 冲突 。 


所 以 在 部 署 一 个 新 拓扑 的 时 候 ， 很 有 必要 去 了 解 集群 中 可 用 的 资源 。 如 果 你 忽略 了 集群 中 什么 资源 是 可 用 的 ， 那 你 在 集群 上 
部 署 任何 组 件 都 会 产生 潜在 的 资源 冲突 。 


7.5 在 一 个 工作 进程 (JVM) 中 的 内 仔 冲 突 


和 你 在 安装 一 个 Storm 集 群 时 配置 固定 数量 工作 进程 的 步骤 类 似 ， 你 也 需要 为 每 个 工作 进程 (JVM) 配置 一 个 固定 数值 的 分 
配 内 存 。 内 存 的 限制 条 件 决 定 了 JVM 上 可 调用 的 进程 (执行 器 ) 数量 ， 因 为 每 个 进程 都 需要 人 花费 一 定数 量 的 内 存 (默认 64 位 的 
Linux JVM 设 置 是 IMB) 。 


JVM 上 出 现 的 冲突 更 多 是 基于 每 个 独立 拓扑 的 ， 在 上 面 运 行 的 bolt、spout、 线 程 等 所 消耗 的 内 存量 可 能 远 超出 JVM 本 身 的 
分 配 内 存 ， 如 图 7.7 所 示 。 


多 个 线程 和 spout/bolt 实 例会 在 
JVM 中 共享 使 用 同一 部 分 内 存 


了 
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1 
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1 
ll 
1 
1 
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1 
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1 
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1 
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有 


图 7.7 ”工作 进程 、 执 行 器 和 任务 与 VM、 线 程 、spout/bolt 实 例 的 关系 映射 图 ， 以 及 线程 与 实例 在 VM 中 的 内 存 竞 争 关系 


因此 友 生 在 JVM 上 的 冲突 通常 表现 为 内 存 不 足 (out-of-memory，OOM) 的 错误 ,或 者 进入 长 时 间 的 垃圾 回收 
(Garbage Collection，GC) 期 。 可 以 在 Storm 的 日 志和 UI 中 查看 OOM 的 错误 记录 ， 一 般 是 以 java.lang.OutOfMemory- 
Error: Java heap space 的 堆栈 跟踪 来 显示 错误 。 


如 果 要 定位 GC 问 题 ， 可 能 需要 更 多 的 操作 配置 了 ， 不 过 JVM 和 Storm 在 这 一 部 分 的 配置 支持 还 是 比较 方便 的 。JVM 提 供 了 
局 动 配置 项 用 于 跟踪 和 记录 GC 的 用 量 ，storm 也 提供 了 一 种 方式 来 设置 JVM 局 动 时 工作 进程 的 配置 。storm.yaml| 中 的 


worker.childopts 属 性 用 于 配置 JVM ，storm.yaml 中 一 个 工作 结 点 的 配置 如 代码 清单 7.4 所 示 。 
这 里 有 一 个 参数 需要 特别 注意 一 下 ， 那 就 是 -Xloggc 配 置 。 记 住 ， 你 可 以 在 每 个 工作 结 点 上 设置 多 个 工作 进程 ， 其 中 


worker.childopts 属 性 可 以 应 用 修改 到 一 个 结 点 的 所 有 工作 进程 上 ， 所 以 如 果 不 做 特定 命名 ， 日 志文 件 将 默认 记录 全 部 的 工作 进 


程 日 志 。 为 了 让 跟 路 GC 在 人 VM 上 的 用 量 更 轻松 ， 建 议 为 每 个 工作 进程 分 别 建立 日 志文 件 。Storm 提 供 了 一 套 完整 的 日 志 机 制 来 


记录 每 个 工作 进程 的 信息 : ID 用 于 为 工作 结 点 上 的 每 个 工作 进程 建立 唯一 标识 符 ， 为 每 个 GC 日 志文 件 添加 这 样 一 
个 “%ID%” 参 数 ， 可 以 实现 日 志文 件 按照 工作 进程 来 分 别 进行 存储 。 


程序 清单 7-4 ”为 工作 进程 配置 GC 的 日 志 记 录 功 能 


自 定义 GC 日 志 的 文件 名 ， 在 这 里 因为 我 们 安装 Storm 的 路 径 是 / 
opt/storm， 所 以 我 们 希望 日 志文 te aan ey 对 GC 
打印 垃 其 中 用 %IDS% 为 每 个 工作 进程 分 别 创建 日 志文 件 ， 否则 所 有 工作 进程 日 志文 件 
圾 回收 的 产生 的 GC 用 量 日 志 都 会 保存 在 一 个 日 志文 件 中 。 使 用 日 志 
和 -人 worker.childopts: "-XX:+PrintGCTimeStamps 打印 额外 文件 转 信 
-XX:+PrintGCDetails 的 GC 细 市 
-Xloggc:/opt/storm/logs/worker-%ID%S-jvm-gc.1og < 一 一 
-XX:+UseGCLogFileRotation < 一 一 
设置 日 z -XX :NumberOfGCLogFiles=5 < 设置 日 志 
志文 件 分 上 心 RO | \ 割 个 数 
割 的 尺寸 -XX:+PrintGCDatesStamps 
-XX:+PrintGCApplicationStoppedTime < 一 一 打印 垃圾 回收 的 
-XX:+PrintGCApplicationConcurrentTime" < 日 期 和 时 间 信 息 
打印 GC 执行 期 间 程 序 打印 应 用 程序 停止 
局 动 的 时 间 (时 间 不 在 时 GC 启动 的 时 间 (时 
安全 点 内) 间 在 安全 点 内 ) 


刚 开 始 阅 读 GC 日 志 的 时 候 可 能 会 完 得 比较 无 所 适 从 ， 所 以 接 下 来 我 们 简单 了 解 一 下 代码 清单 7.4 严 生 的 日 志 详 细 内 容 。 例 子 
输出 的 GC 日 志 包 含 两 种 类 型 的 输出 ， 一 种 是 面向 年 轻 对 象 (young generation) 的 次 垃圾 (minor collection) 回收 ,一 种 是 
面向 年 老 对 象 (tenured generation) 的 主 垃圾 (major collection) 回收 ,分 别 对 应 不 同 的 操作 频率 。 有 可 能 不 是 每 一 个 GC 
日 志文 件 都 将 输出 这 两 种 类 型 的 内 容 ， 因 为 对 于 主 垃圾 回收 来 说 ， 不 一 定 会 友 生 在 每 一 个 GC 周 期 中 ， 但 为 了 确保 数据 和 信息 完 


， 我 们 需要 同时 保留 两 种 模式 。 


Java 分 代 垃 圾 回收 机 制 


Java 采 取 的 是 一 种 分 代 垃 圾 回收 机 制 ， 这 意味 着 内 存 将 被 划分 成 不 同 的 “年 代 ”， 如 果 对 象 经 过 回收 事务 
活 下 来 ， 那 么 它 将 被 划 入 年 老 的 一 代 。 每 一 个 对 象 在 最 开始 的 时 候 ， 都 是 护照 年 轻 对 象 的 方式 做 回收 对 待 ， 然 后 逐渐 经 历 
GC 事 务 ， 才 能 成 为 年 老 对 象 。 我 们 称 全 部 的 年 轻 对 象 集合 为 次 回收 ， 而 全 部 的 年 老 对 象 集合 为 主 回收 。 


程序 清单 7- 5 GO 日 志 输 出 泄 例 


2014-07-27T16:29:29.027+0500: 1.342: Application time: 0.6247300 seconds 


2014-07-27T16:29:29.027+0500: 1.342: [GC 1.342: [DefNew: 8128K->8128K(8128K) ， 
0.0000505 secs] 1.342: [Tenured: 18154K->2311K(24576K) ，0.1290354 secsl 
26282K->2311K(32704K) ，0.1293306 secsl 


2014-07-27T16:29:29.037+0500: 1.353: Total time for which application threads 
were stopped: 0.0107480 seconds 


让 我 们 将 这 个 日 志 分 段 解 读 ， 最 近 一 次 GC 运行 之 后 ,程序 输出 的 日 志 分 段 襄 明 如 图 7.8 所 示 。 


下 能 继续 存 
足够 的 


2014-07-27T16:29:29.027+0500; 1.342: Application time: 0.6247300 seconds 


一 


由 -XX:+PrintGCDateStamps 程序 的 运行 时 长 ( 秒 )， 由 -XX: 自从 上 次 GC 事 务 后 程序 的 运行 
配置 的 日 期 /时 间 +PrintGCTimeStamps 人 参数 来 设置 时 长 ， 由 -XX:+PrintGCApplication 


ConcurrentTime 参 数 来 配置 


图 7.8 展示 一 XX: +PrintGCDateStamps、 一 XX: +PrintGClTimeStamps 和 一 XX: 二 PrintGCApplicationConcurrentTime 输 出 的 GC 日 


志 


EN 


接 下 来 的 一 行 是 由 -XX: +PrintGCDetails 配 置 的 输出 ， 我 们 分 解 成 多 张 图 来 分 别 解释 每 部 分 的 意义 ， 分 别 标注 了 日 期 /时 间 
戳 ， 以 便 更 容易 理解 。 针 对 年 轻 对 象 的 次 回收 细节 如 图 7.9 所 示 。 


[GC 1.342: [DefNew: 8128K->8128K(8128K)，0.0000505 Secs |] 


本 次 次 收回 执 
次 回收 开始 的 时 间 GC 事务 前 分 配 ”GC 事务 后 分 配 行 花 费 的 时 间 


年 轻 对 象 。 了 | Ts 年 轻 对 象 的 总 分 配 


次 回收 阶段 TD 内 存 为 8128 K 


轻 对 象 释放 任何 内 存 


图 7.9 ”年轻 对 象 的 次 回收 日 志 输 出 


针对 年 老 对 象 的 主 回收 细节 如 图 7.10 所 示 。 如 图 7.11 所 示 ，-XX: +PrintGCDetails 输 出 的 最 后 一 部 分 显示 了 全 部 推 的 值 以 
及 全 部 GC 循环 花费 的 时 长 。 


二 帮 [Tenured: 18154K->2311K(24576K)，0.1290354 一 


| J 和， 
了 GC 事务 前 分 配  GC 事 务 行 花费 的 时 间 
k 


始 的 时 间 年 此 对 象 了 18 154K 人 年 老 对 象 的 总 分 本 


为 存 为 24 576 k 
WA 内 三 为 
内 存 ， 或 者 是 18 154 k 


图 7.10 年 老 对 象 的 主 回收 日 志 输 出 


20282K) 1 (32/7104R), 0.12933U6 SecS | 


村 CC 网 卫 务 后 分 配 了 ”全 部 GC 事务 完成 


GC 事务 出 分 配 了 了 2311 kk 到 堆 空 间 总 的 堆 空 间 所 人 花费 的 时 间 
26 282 k 到 堆 空 间 和 
为 32 704 kk 


图 7.11 全 部 堆 的 值 ， 以 及 全 部 GC 循环 花费 时 长 的 日 志 输 出 


以 上 是 GC 输出 的 第 一 和 第 二 行 ， 而 最 后 一 行 束 很 简单 了 ， 是 -XX: +PrintGCApplicationStoppedTime 选 项 配置 输出 的 结 
果 ， 为 2014-07-27T16: 29: 29.037+0500: 1.353: Total time for which application threads were stopped: 
0.0107480seconds， 这 是 由 于 GC 处 理 导 化 程序 被 暂停 的 时 间 概 要 信息 。 


这 就 是 所 有 的 日 志 输 出 ， 当 你 把 这 些 亲 Fp 结 果 分 开 来 看 ， 每 一 部 分 输出 的 内 容 都 清晰 明了 ， 学 会 阅读 这 些 日 志 有 助 于 你 查找 
Storm 中 的 问题 ， 特 别 是 调试 JVM 层 面 上 运行 的 各 程序 间 冲 突 。 当 你 能 配置 并 在 GC 日 志 输 出 中 找到 OOM 错 误 ， 那 么 你 基本 上 具 
备 了 定位 拓扑 上 JVM 冲 突 的 能 力 。 


你 的 spout 或 者 bolt 在 尝试 消耗 超出 JVM 上 分 配 的 内 存量 ， 导 八 OOM 错 误 或 者 较 长 时 间 的 GC 事务 。 


7.5.2 ”解决 方案 


你 可 以 通过 以 下 方式 来 定位 问题 : 
` 提高 出 现 问 题 的 拓扑 中 可 调用 的 工作 进程 数量 。 
: 提高 JVM 的 空间 。 

提高 出 现 问 题 的 拓扑 中 可 调用 的 工作 进程 数量 


具体 万 法 可 以 参考 7.1 节 中 介绍 的 步 又， 通过 为 拓扑 添加 一 个 工作 进程 ， 可 以 降低 该 拓扑 上 的 整体 运行 负载 。 这 种 方法 主要 
是 在 JVM 中 降低 每 个 工作 进程 的 内 存 占 用 ， 从 而 消除 JVM 在 内 人 存 上 产生 的 冲突 。 


提高 VM (工作 进程 ) 的 空间 


具体 方法 可 以 参考 7.2 节 中 介绍 的 步骤 ， 因 为 增加 JVM 的 空间 相当 于 修改 物理 机 或 虚拟 机 的 运行 内 存 ， 所 以 我 们 建议 尽 可 能 
先 提高 工作 进程 的 数量 。 


7.5.3 讨论 


在 人 VM 中 对 内 存 做 调配 是 Storm 应 用 中 最 具有 挑战 性 的 工作 之 一 ， 因 为 不 同 的 拓扑 对 内 存 的 需求 量 是 不 同 的 。 到 目前 为 止 ， 
我 们 已 经 从 每 个 工作 结 点 上 配置 了 4 个 工作 进程 ， 每 个 结 点 需要 分 配 500MB 内 存 ， 调 整 后 为 每 个 工作 结 点 配置 两 个 工作 进程 ， 分 
别 分 配 1G 的 内 存 。 


我 们 的 拓扑 在 每 个 线程 上 对 内 存 的 消耗 设置 了 足够 高 的 并 行 性 ， 但 依然 要 面 对 500MB 的 优化 问题 。 当 为 每 个 工作 进程 分 配 
了 1GB 内 存 ， 我 们 殊 为 拓扑 提供 了 足够 多 的 处 理 空间 。 为 了 更 接近 极限 ， 我 们 开始 尝试 在 多 个 工作 结 点 之 间 去 释放 负载 。 


不 可 能 一 开始 束 一 切 顺利 ， 别 担心 ， 我 们 现在 已 经 在 生产 环境 中 运行 了 多 年 的 Storm， 依 然 面临 因为 拓扑 的 调整 、 增 长 或 扩 
展 时 ， 需 要 在 每 人 台 服 务 器 上 去 调整 工作 进程 及 其 分 配 内 存 。 所 以 请 记 住 ， 这 是 一 个 没有 尽头 的 过 程 ， 因 为 集群 和 拓扑 永远 会 发 生 


在 调整 一 个 人 VM 中 的 内 存 时 务必 要 小 心 ， 这 里 有 一 个 经 验方 式 ， 当 你 在 调整 时 ， 观 察 一 些 关 键 结 点 的 GC 消耗 时 | 间 ， 例 如 


500MB、1GB、2GB 或 者 4GB， 此 时 GC 的 消耗 时 间 会 出 现 一 个 小 幅 波动 。 所 以 调试 的 过 程 更 像 是 一 种 近 法 而 不 是 纯 技术 理论 ， 
面 对 OOM 的 调试 务必 要 耐心 一 点 ， 没 有 什么 能 比 得 上 增 大 J 久 M 内 存 空间 却 没 有 看 到 GC 时 间 受 到 影响 更 泪 谱 了 。 


7.6 在 一 个 工作 绪 点 上 的 内 存 冲 突 


工作 绪 点 其 实在 一 定 程度 上 和 JVM 有 类 似 之 处 ， 都 是 一 个 独立 运行 的 环境 上 且 拥 有 有 限 的 内 存 资源 。storm 中 除了 要 保证 正音 
运行 工作 进程 (JVM) 所 需 的 内 存 ， 还 需要 准备 额外 的 内 存 来 确保 Supervisor 进 程 ， 或 者 其 他 运行 在 工作 结 点 中 不 执行 交换 的 进 
程 ， 如 图 7.12 所 示 。 


工作 结 点 
工作 结 点 的 内 存 


Supervisor 工作 进程 这 里 ， 工 作 绪 点 中 的 内 存 由 4 个 工作 进 
进程 (JVM) 程 、Supervisor 进 程 、 操 作 系 统 以 及 其 他 可 
能 运行 的 工作 进程 来 共 至 分 配 
如 果 内 存 不 够 文 撑 当前 所 有 进程 的 需 
求 ， 那 么 该 工作 绪 点 将 出 现 内 存 层 面 上 
的 资源 冲突 


操作 系统 工作 进程 | | 工作 进程 
(JVM) (JVM) 


图 7.12 ”拥有 国定 分 配 内 存 的 工作 结 点 ， 其 中 运行 着 自 有 的 工作 进程 以 及 其 他 程序 的 进程 


如 果 一 个 工作 结 点 正在 遭遇 内 存 上 的 使 用 冲突 ， 那 么 工作 结 点 将 开局 结 点 上 间 的 内 存 调 度 ， 或 称 之 为 交换 (swapping) 。 交 
换 在 平时 不 会 引起 你 的 注意 ， 但 如 果 你 开始 考虑 延迟 率 和 吞吐 率 时 ， 残 需要 注意 它 的 作用 了 。 人 在 使 用 Storm 中 存在 这 样 一 个 问 
题 : 每 个 工作 结 点 都 需要 足够 的 内 存 ， 此 时 进程 和 系统 之 间 不 需要 考虑 资源 交换 ， 但 如 果 出 现 了 性 能 冲突 ， 那 你 必须 开局 Storm 
在 JVM 上 的 交换 开 天 。 


有 一 种 方法 ， 束 是 借助 sar (system activity reporter， 系 统 活动 报告 ) 命令 来 监控 Linux 系 统 的 运行 状况 。 这 个 命令 是 
Linux 用 于 收集 并 显示 全 部 系统 活动 的 信息 ， 如 图 7.13 所 示 ， 执 行 该 命令 的 格式 为 sar[option][linterval[count]]。 


sar [option] [intervall] [count |】 


站 don 


省 1 全 小 >、 5 = 
四 阳 来 输出 信息 ， 如 末 为 5 那么 人 和 在 每 间隔 和 
于 显示 不 同类 型 的 pA 人 
赋 信 为 3， 那么 全 钙 9 和 侠 情况 下 总 共 输 出 5 段 信息 


系 让 三 统 活 动 


隔 3 秒 输出 打印 信息 
图 7.13 ”sar 命令 分 解 


过 不 同 的 参数 可 以 实现 展示 不 同类 型 的 信息 ， 对 于 辅助 诊断 工作 结 点 上 的 内 存 冲突 ,我 们 可 以 添加 -S 参 数 ， 来 查看 交换 空 
间 的 利用 统计 信息 。 输 出 的 交换 空间 利用 率 如 图 7.14 所 示 。 


每 隔 1 秒 ， 总 共 打 印 
3 次 3 交换 统计 信息 


1 


Ss sar -9 1 3 
Linux 2.6.18-194.el5PAE (dev-db) 037267201 _1686 (8 CPU) 


07:31:06 AM kbswpfree| kbswpused, %swpused kbswpcad Swpcad 


07:31:07 AM S385920 0 40 0 0 .00 
07:31:08 AM 3385920 0 edd 0 aU 
07:31:09 AM S385920 0 DE 0 0.00 
AVverage: 8385920 0 0.00 0 0.00 


人 人 | 
空闲 的 交换 空 使 用 中 的 交换 ”使 用 中 的 交换 空 
间 内 存 (KB ) 空间 内 存 (KB ) 间 内 存 百 分 比 
-一 
如 果 两 个 值 都 接近 0， 那 么 说 明 你 的 系统 当 
前 没有 使 用 任何 交换 空间 。 但 如 果 这 两 个 值 都 
大 于 0， 说 明 系 统 在 进行 交换 操作 ， 你 的 系统 可 
能 存在 内 存 层面 上 的 资源 冲突 


图 7.14 ”执行 命令 sar-S13 之 后 ， 输 出 的 交换 空间 利用 率 
操作 系统 层面 上 的 资源 冲突 
唯一 避免 操作 系统 层面 上 出 现 资源 冲突 的 方式 ， 就 是 完整 地 回避 掉 任 何 潜在 因素 ! 这 意味 着 什么 呢 ? 下 面 简单 做 个 解释 。 


如 果 每 个 工作 结 点 上 都 运行 一 个 工作 进程 ， 那 么 结 点 上 是 不 可 能 出 现 冲突 关系 的 ， 这 样 会 使 得 集群 的 性 能 管理 更 轻松 。 据 我 
所 知 ， 有 不 少 的 开发 团队 都 采取 这 样 的 策略 ， 来 规避 资源 上 的 冲突 ， 如 果 条 件 允 许 的 话 ， 我 们 也 建议 你 采用 这 样 的 方式 。 


如 果 你 是 运行 在 虚拟 机 上 的 话 ， 这 种 方式 虽然 简单 粗暴 但 还 工行 之 有 效 ， 但 如 果 里 运行 的 是 实 实在 在 安装 有 操作 系统 的 物理 
机 ， 那 么 这 样 的 成 本 就 太 高 了 。 在 虚拟 机 环境 下 ， 你 想 这 么 做 只 需要 分 配 足 够 多 的 资源 就 可 以 了 ， 试 想 一 个 操作 系统 需要 n 个 GB 

的 安装 控件 ， 还 需要 额外 分 配 2GB 的 内 存 来 运行 操作 系统 。 如 果 你 在 集群 上 按照 这 种 策略 启动 了 八 个 工作 结 点 每 个 结 点 分 别 分 配 
四 个 工作 结 点 ， 那 么 就 需要 使 用 nk2GB 的 磁盘 空间 ，4GB 的 内 存 来 运行 配套 的 操作 系统 。 如 果 你 希望 结 点 内 都 是 单 工 作 结 点 的 分 
配方 式 ， 那 么 总 共 需 要 nx8GB 的 磁盘 空间 ， 以 及 16GB 的 内 存 。 这 对 于 一 个 小 型 的 集群 ， 就 需要 面 对 四 们 的 资源 增长 。 试 想 如 果 


需要 增加 新 的 结 点 需求 ， 那 么 集群 上 的 资源 将 按照 16、32、128 的 比例 来 增加 。 如 果 你 的 运行 环境 是 亚马逊 网 络 服务 (Amazon 
Web Services，AWS) ， 那 么 按照 结 点 来 进行 计 费 ， 总 成 本 将 迅速 上 升 。 因 此 ， 我 们 仅 建议 你 在 运行 一 些 私有 的 虚拟 环境 ， 硬 件 
成 本 相对 可 控 ， 包 括 足 够 的 硬盘 和 内 存 资源 时 ， 才 使 用 这 样 的 设计 策略 。 


如 果 这 样 的 案例 描述 没有 把 策略 设计 讲 清 楚 ， 没 关系 ， 我 们 接 下 来 将 详细 介绍 更 多 的 技巧 来 帮助 你 解决 类 似 的 问题 。 即 使 你 
认为 已 经 理解 我 们 的 意思 了 ， 也 建议 关注 一 下 接 下 来 提 到 的 一 些 资料 ， 因 为 即便 是 一 个 最 简单 的 拓扑 也 会 面临 类 似 的 问题 。 


由 于 结 点 的 内 存 资源 不 足 ， 工 作 结 点 之 间 将 进行 空间 交换 。 


7.6.2 ”解决 方案 


你 可 以 这 样 来 解决 问题 : 


. 为 每 个 工作 结 点 增加 可 用 内 存 ， 这 意味 着 需要 在 物理 机 或 虚拟 机 上 安装 或 分 配 更 多 的 内 存 资源 ， 这 基于 你 的 整体 集群 配 


` 降低 工作 进程 使 用 的 整体 内 存量 。 
降低 工作 进程 使 用 的 整体 内 存量 


降低 工作 结 点 中 全 部 工作 进程 的 内 存 消耗 ， 可 以 通过 两 步 操 作 来 实现 。 首 先 需 要 降低 每 个 工作 结 点 中 的 工作 进程 数量 ， 可 以 


按照 7.1 节 中 介绍 的 步骤 来 操作 。 减 少 整体 工作 进程 的 数量 ， 将 相应 降低 该 结 点 上 整体 内 存 的 需求 量 。 
二 步 是 降低 JVM 的 空间 大 小 ， 可 以 按照 7.2 节 中 介绍 的 步骤 来 操作 。 不 过 在 调 低 JVM 分 配 内 人 存 的 时 候 要 格外 小 心 ， 人 否则 反 


而 会 引入 JVM 的 内 存 资 源 冲 突 。 


7.6.3 讨论 
我 们 的 方案 始终 都 围绕 着 如 何 分 配 每 从 服务器 上 的 内 存 ， 这 是 最 简单 也 是 最 容易 理解 的 办 法 。 如 果 你 的 可 用 内 存 比 较 吃 紧 ， 


那么 就 党 试 去 降低 内 存 的 消耗 ， 但 你 需要 去 放眼 全 局 ， 看 待 JVM 上 因此 导致 的 GC 和 OOM 问 题 。 长 话 短 说 ， 如 果 你 有 足够 的 内 
存 人 资源， 那么 就 尽 可 能 为 每 台 服 务 器 上 去 扩展 内 存 吧 ，。 


7.7 工作 结 点 的 CPU 信 源 冲突 


工作 结 点 上 的 CPU 资 源 冲 突 ， 一般 友 生 在 对 CPU 的 需求 量 超 过 了 现 有 的 资源 量 ， 这 也 是 在 应 用 Storm 时 集群 将 面临 的 主要 人 资 
源 冲突 之 一 。 如 果 你 的 Storm 拓 扑 吞 吐 率 低 于 你 的 预期 ， 你 可 能 整 需 要 检查 一 下 拓扑 上 运行 的 工作 结 点 情况 了 ， 看 看 是 舍 存 在 


CPU 的 资源 冲突 。 


你 依然 可 以 使 用 Linux 的 sar 命 令 来 查看 资源 的 消耗 情况 ， 借 助 参数 -u 即 可 显示 实时 的 CPU 使 用 率 。 输 出 的 CPU 使 用 率 信息 
如 图 7.15 所 示 。 
每 1 秒 钟 执行 一 次 CPU 
的 使 用 率 报 告 ， 总 共 输 出 
3 次 


一 一 一 


S sar -u 1 3 


Linux 2.6.18-194.el5PAE (dev-db) 03/26/2011 _i686_ (8 CPU) 

01:27:32 PM CPU SuUuSer Snice| |%Ssystem Siowalit Ssteal Sidle 
01:27:33 PM = 有 辆 0 .00 Deo 和 0.00 0.00 LO 
01:27:34 PM all 这 0.00 外 0.00 WO 99.50 
01:27:35 PM all a 0.00 Was ya QO p00 99 050 
AVerade : all ES he bp 0.00 0.00 Hy 


内 核 层 面 上 的 CPU 
应 用 层面 上 的 CPU 应 用 层面 上 改变 过 使 用 率 白 分 比 。 管理 程序 在 服务 其 在 系统 没有 任何 


使 用 率 百 分 比 优先 级 进程 的 CPU 使 他 虚拟 进程 时 等 候 的 ”磁盘 IO 请 求 空 闲 的 
用 率 百 分 比 CPU 时 间 百 分 比 CPU 时 间 百 分 比 
- 
如 膝 %idle 的 值 偏 低 ， 那 么 需要 观察 这 是 你 第 一 时 间 就 要 注意 的 
一 下 这 些 列 数据 ， 到 底 是 哪 一 部 分 在 地 方 ， 如 果 值 仿 低 ， 那 么 再 来 
占用 较 高 的 CPU 资源 看 看 %user、%nice 、%system 和 
%steal 


图 7.15 ”命令 satr-u13 输 出 的 CPU 使 用 率 统 计 信 息 


如 果 你 的 拓扑 吞吐 率 太 低 ， 同 时 借助 sar 命 令 ， 发 现存 在 CPU 的 资源 冲突 。 


7.7.2 解决 方案 


出 现 这 类 问题 时 ， 你 有 以 下 几 种 方案 可 以 选择 : 

: 增加 当前 服务 器 上 的 可 用 CPU 数量 ， 但 仅 限 于 虚拟 机 环境 。 

. 升级 到 一 个 更 强大 的 CPU (例如 Amazon Web Services (AWS) 这 样 的 生产 环境 ) 。 
` 减少 每 个 工作 结 点 上 的 工作 进程 数量 来 分 担 JVM 上 的 负载 。 

让 更 多 工作 结 点 来 分 担 人 VM 负载 


要 借助 更 多 的 工作 结 点 来 分 挫 工 作 进 程 (JVM) 的 负载 ， 你 需要 降低 每 个 工作 结 点 上 的 工作 进程 数量 (参考 7.1 节 介绍 的 步 


又 来 实现 ) 。 由 于 每 个 工作 结 点 上 的 工作 进程 数量 减少 ， 意 味 着 每 个 工作 进程 可 以 获得 更 多 的 处 理 资 源 (CPU 计算 ) 。 在 两 种 
情况 下 ， 你 需要 尝试 这 样 的 解决 万 式 。 第 一 种 是 你 的 集群 中 存在 未 使 用 的 工作 进程 ， 那 么 可 以 直接 将 它 从 工作 结 点 上 移 除 挥 ， 减 
少 不 必 要 的 负载 (如 图 7.16 所 示 ) 。 


现 了 资源 冲突 。 弟 运 的 是 我 们 有 两 个 工作 进程 并 


没有 使 用 ， 所 以 可 以 通过 分 担 的 方式 合理 利用 未 通过 降低 工作 绪 点 上 工作 进程 的 数量 ， 可 以 更 好 
使 用 的 工作 结 扣 地 利用 未 使 用 的 工作 结 点 ， 这 样 的 结果 是 四 个 工作 


结 点 可 以 分 担 CPU 请 求 上 的 资源 消耗 


国 | 拓 扑 B 使 有 中 的 工作 进程 


[| 未 使 用 的 工作 进程 


图 7.16 在 集群 中 降低 每 个 工作 结 点 上 的 未 使 用 的 工作 进程 数量 


第 二 种 是 你 所 有 工作 进程 都 处 于 使 用 当中 ， 你 需要 添加 额外 的 工作 结 点 来 分 担当 前 结 点 上 的 工作 进程 (如 图 7.17 所 示 ) 。 

这 里 每 个 工作 结 点 都 有 四 个 JVM 在 请 求 CPU 资 通过 在 集群 中 添加 工作 结 点 的 方式 ， 我 们 可 以 

源 ， 我 们 注意 到 全 部 工作 结 点 上 都 出 现 了 CPU 的 降低 每 个 工作 结 点 上 的 工作 进程 数量 ， 让 每 个 结 
资源 冲突 。 由 于 无 法 降低 每 个 工作 结 点 上 的 工作 点 上 较 少 的 JVM 去 共享 CPU 的 资源 


进程 数量 ， 但 又 不 能 影 啊 现 有 的 吞吐 率 ， 我 们 就 
需要 增加 额外 的 工作 绪 点 来 分 担负 载 
工作 结 点 工作 结 扣 


国 国 量 拓扑 A 使 用 中 的 工作 进程 
| ”“” | 拓扑 B 使 用 中 的 工作 进程 
图 7.17 ”在 一 个 集群 中 降低 工作 结 点 上 工作 进程 的 数量 ， 但 此 时 已 经 没有 额外 的 空闲 进程 了 ， 就 需要 增加 新 的 工作 结 点 


通过 降低 每 个 工作 结 点 上 的 工作 进程 ， 可 以 较 好 地 降低 每 个 结 点 上 对 CPU 资源 的 抢占 。 所 以 你 唯一 要 需要 天 心 的 残 是 在 你 
的 场景 应 用 中 ， 哪 些 资源 是 可 用 的 ， 哪 些 是 正在 使 用 中 的 。 


7.7.3 讨论 


如 果 你 和 我 们 一 样 ， 使 用 的 是 目 建 的 服务 器 ， 那 么 第 一 种 选项 也 许 是 最 合适 的 。 你 的 Storm 结 点 应 该 运行 在 多 台 拥 有 不 同 配 
置 的 服务 器 上 ， 忆 共 可 能 有 x 个 CPU 资 源 (我 们 是 拥有 16 个 ) 。 当 我 们 刚 开始 使 用 Storm 的 时 候 ， 运 算 量 其 实 是 很 低 的 ， 可 以 最 
多 为 每 个 结 点 分 配 2 个 核 。 随 着 业务 的 增长 ,我 们 需要 根据 需求 不 断 提升 到 4 个 甚至 8 个 。 但 大 部 分 情况 下 ， 每 个 结 点 并 没有 完全 
利用 CPU 的 资源 ， 不 过 依然 需要 配置 在 那里 。 


你 也 可 以 借 瞧 AWS 服 务 或 其 他 类 似 的 主机 供应 商 ， 通 过 升级 至 更 快 更 强劲 的 CPU 来 获取 更 多 的 计算 内 核 ， 但 你 终归 会 遇 到 
极限 ， 因 为 物理 机 和 机 柜 无 法 支持 无 上 限 的 扩展 。 当 你 在 无 法 继续 扩展 CPU 的 时 候 ， 采 取 负 和 载 均衡 的 方式 可 能 是 你 唯一 的 选 


择 。 


所 以 到 目前 为 止 ， 我 们 还 没有 通过 这 种 方式 来 解决 CPU 的 效率 问题 〈 但 我 们 用 这 种 办 法 解决 了 其 他 的 问题 ) 。 有 的 时 候 我 
们 不 得 不 采取 其 他 的 方式 来 解决 问题 ， 例 如 有 一 次 肝 个 bug 导 致 一 个 拓扑 强占 了 全 部 CPU 时 间 ， 使 得 整个 计算 进入 到 死 锁 状态 。 
所 以 你 要 做 的 第 一 件 事 ， 融 是 先 检查 一 下 目 己 ，“ 你 确定 不 是 你 把 什么 给 摘 磺 了 ? ”而 不 是 直接 融 进 入 冲突 解决 方案 的 讨论 阶 


段 。 


7.8 工作 绪 点 的 MO 冲突 


一 个 工作 绪 点 上 出 现 MO 层 面 上 的 冲突 ， 只 会 仔 人 在 两 类 : 
` 磁盘 层面 的 [/ 〇 资源 冲突 ， 出 现在 对 文件 系统 的 读 和 写 操 作 。 
* 网 络 /socket 层 面 的 I/ 〇 资源 冲突 ， 出 现在 通过 socket 对 网 络 的 读 和 写 操 作 。 


这 两 种 类 型 都 是 Storm 拓扑 的 典型 资源 型 冲突 类 型 ， 第 一 种 通 单 作为 判断 一 个 工作 绪 点 是 人 否 仓 任 MO 冲 突 的 方法 ， 一 旦 验证 
没有 问题 ， 那 融 一 定 是 另外 一 种 类 型 的 /O 冲 突 了 。 
确认 你 集群 中 的 一 个 工作 结 点 是 人 否 面临 |/O 层 面 上 的 冲突 ， 还 是 可 以 利用 sar 命 令 ， 以 及 -uU 参 数 来 显示 实时 的 CPU 使 用 率 。 


这 个 命令 和 7.7 节 中 提 到 的 命令 一 样 ， 但 这 次 我 们 要 关注 的 点 不 一 样 ， 如 图 7.18 所 示 。 


一 个 健康 的 拓扑 在 正 单 执行 MO 请 求 时 ， 不 会 出 现 长 时 间 等 待 可 用 资源 的 情况 ， 所 以 这 融 是 为 什么 10.00% 的 时 候 你 应 该 会 感 


你 可 能 在 想 如 何 区 分 冲突 是 发 生 在 网 络 /socket 层 面 还 是 磁盘 I/O 上 ， 这 确实 是 个 难题 ， 但 不 要 惊讶 你 的 直 完 通常 能 带 你 找 
到 答案 ， 下 面 我 们 融 解 释 一 下 。 


如 果 你 已 知 拓扑 运行 在 一 个 工作 结 点 上 (在 7.3 节 中 讨论 过 类 似 情况 ) ， 你 会 发 现 它 们 调用 了 大 量 的 网 络 资源 和 磁盘 /O， 同 
时 注意 到 了 iowait 指 标的 异常 ， 此 时 你 可 以 大 致 判断 到 底 是 哪 一 类 冲突 了 ， 万 法 束 是 : 如 果 你 注意 到 有 1/O 冲 突 的 前 兆 ， 首 先 尝 
试 去 判断 是 否 是 网 络 /socket 的 MO 层面 上 的 冲突 ， 如 果 不 是 ， 那 么 你 基本 上 融 能 确定 遇 到 的 是 磁盘 I/O 层 面 上 的 冲突 了 。 尽 管 不 
可 能 忌 是 这 样 去 做 判断 ， 所 以 你 需要 去 学 习 一 些 工 具 来 支撑 你 。 让 我 们 先 看 看 每 种 I/ 站 突 分 别 能 市 来 什么 样 的 影响 。 


每 1 秒 钟 执行 一 次 CPU 的 使 用 率 
报告 ， 总 共 输 出 3 次 


Ss sar -u 1 3 


Linux 2.6.18-194.el5PAE (dev-db) GBA2672011 “1686 {8 CPU) 

lis edd PM CPU USer nice %system Sl1Oowait Ssteal Sidle 
01:27:33 PM all 0.00 yyy 0.00 TOs0D 0.00 90.00 
01:27:34 PM all 号 0 .00 .25 是 要 0 .00 88 .49 
DLT 35: .EM all 0 75 0.00 Ds > i ef, 0.00 89.83 
AVverage: all Dna 0.00 ee Cet 0.00 99 .50 


CPU 时 间 空 闲 的 百分比 ,在 此 期 间 系统 将 执行 
LO 请 求 。 如 有 果 这 个 值 约 为 10.00， 那 么 你 会 有 大 
概 出 现 因 I/O 冲 突 导致 的 性 能 问题 。 如 果 值 大 于 
25.00， 那 么 你 一 定 面 临 严重 的 冲突 情况 


图 7.18 ”命令 saf-u13 输 出 的 CPU 使 用 率 统计 信息 ， 以 及 LI/O 的 等 候 信息 


7.8.1 网 络 /Socket 层 面 的 MO 冲突 


如 果 你 的 拓扑 需要 通过 网 络 和 外 部 服务 进行 交互 ， 那 么 你 的 集群 很 有 可 能 面临 网 络 /3ocket 层 面 的 MO 冲突 。 在 我 们 过 去 的 
经 历 中 ， 出 现 这 类 问题 的 原因 ， 一 般 都 是 所 有 可 用 的 socket 端 口 都 被 占用 了 。 


一 般 情况 下 ，Linux 在 安装 时 会 默认 将 每 个 进程 的 最 大 文件 /socket 设 置 为 1024， 在 一 个 I/O 密 集 型 的 拓扑 中 ， 很 容易 就 会 超 
出 默认 设置 的 配额 。 而 我 们 在 设计 拓扑 的 时 候 ， 会 为 每 个 工作 结 点 启用 数 干 个 socket 并 口 。 在 确认 你 是 否 触 磁 到 系统 的 极限 
时 ， 可 以 检查 一 下 /proc 文 件 系 统 中 进程 数 的 限制 。 首 先 你 需要 知道 你 的 进程 1D， 然 后 获取 完整 的 限制 条 件 列表 。 如 代码 清单 7.6 
所 示 ， 演 示 了 如 何 使 用 ps 和 grep 命 令 来 查找 你 的 进程 ID (简称 PID) ,然后 从 /proc 文 件 系统 中 获取 限制 条 件 的 列表 。 


程序 清单 7-6 ”判断 资源 的 限制 


ri 、 y /= 上 
查找 名 为 MY-TOPOLOGY-NRAME 我 们 的 ID 在 
的 拓扑 进程 第 二 列 . 12345 
-bash-3.2$ ps aux | grep MY-TOPOLOGY-NAME 
stormuser l12345 Lo < 从 /Proc 文件 系统 中 
获取 进程 的 限制 条 件 
-bash-3.2$ cat /proc/12345/limits < 


Ldmit Soft Limit Hard Limit Units 


Max cpu 七 Ime unlimited unlimited seconds 
Max file size unlimited unlimited bytes 
Max data size unlimited unlimited bytes 
Max stack size 10485760 unlimited bytes 
Max core file size 0 0 bytes 
Max resident set unlimited unlimited bytes 
Max processes 47671 47671 processes 
Max open files 1024 1024 files < 一 
Max locked memory unlimited unlimited bytes 
Max address space unlimited unlimited bytes 
Max file locks unlimited unlimited locks 
Max pending signals 47671 47671 signals 
Max msgqueue size 819200 819200 bytes 
Max nice priority 0 0 
Max realtime priority 0 0 
open file 的 最 大 数量 


如 果 你 已 经 触 碰 到 了 设置 的 极限 值 ， 那 么 Storm UI 将 在 你 拓扑 最 近 异 常 销 误 的 一 柱 里 ， 提 示 open file 已 经 达到 了 调用 的 上 


限 ， 日 志 输 出 的 堆栈 信息 一 般 以 java.net.9ocketException: Too many open files 开 头 。 


在 一 个 对 网 络 /socket 的 MO 有 密集 型 需求 的 拓扑 中 ， 如 何 处 理 一 个 相当 饱和 的 网 络 连接 


我 们 从 来 都 没 遇 到 过 一 个 饱和 的 网 络 连接 ， 但 理论 上 这 是 可 能 会 出 现 的 ， 所 以 这 里 只 是 简单 提 及 一 下 ， 而 不 作为 讨论 的 重 
点 。 对 于 你 当前 的 操作 系统 ， 你 可 以 使 用 不 同 的 工具 来 检测 网 络 连 接 的 状态 ， 在 Linux 下 ， 我 们 推荐 iftop。 


对 于 饱和 的 网 络 连接 ， 你 可 以 做 两 件 事 : 切换 到 一 个 更 快 的 网 络 ， 或 者 减少 每 个 工作 结 点 上 的 工作 进程 ， 让 更 多 的 服务 器 来 
分 担负 载 。 不 过 这 些 方式 仅 限 帮助 你 解决 本 地 的 网 络 问 题 ， 而 不 能 解决 外 网 的 问题 。 


问题 
你 的 拓扑 在 经 历 较 低 的 吞吐 率 ， 或 者 完全 无 法 吞吐 数据 ， 同 时 你 还 发 现 open socket 上 抛 出 了 触 碰 极 限 的 错误 异常 。 
解决 方案 
可 以 有 以 下 几 种 方式 来 解决 问题 : 
: 增加 工作 结 点 上 的 可 用 端口 数 。 
在 集群 中 增加 更 多 的 工作 结 点 。 


对 于 增加 工作 结 点 上 的 可 用 端口 数 ， 在 大 部 分 版 本 的 Linux 系 统 上 ， 你 可 能 需要 修改 /etc/securitylimits.conf 文 件 ， 在 其 中 
添加 如 下 两 行 : 


* soft nofile 128000 
* hard nofile 25600 


这 些 设置 可 以 为 每 个 用 户 分 别 设置 hard 和 soft 极 限 值 ， 作 为 Storm 的 用 户 ， 我 们 需要 关注 的 值 是 soft limit 参 数 ， 不 建议 设 
置 超过 128k。 作 为 一 个 经 验 法 则 (你 可 能 需要 更 了 解 Linux 中 open file 的 soft/hard limits 参 数 设 置 ) ， 我 们 建议 将 hard limit 的 
值 设置 为 soft limit 的 两 倍 。 注 意 ， 修 改 limits.conf 文 件 时 ， 你 需要 拥有 超级 管理 员 权限 ， 同 时 重启 系统 使 修改 生效 。 


在 集群 中 增加 工作 结 点 的 数量 ， 可 以 为 你 提供 更 多 的 端口 。 如 果 你 没有 足够 资源 来 扩展 物理 机 或 虚拟 机 ， 你 就 不 得 不 选择 第 
一 种 方案 了 ， 

讨论 

第 一 种 情况 下 的 冲突 是 因为 我 们 触 碰 到 了 每 台 服 务 器 的 socket 极 限 值 ， 这 是 由 于 拓扑 需要 调用 大 量 的 外 部 服务 来 获取 额外 


的 信息 ， 以 弥补 急 始 源 中 不 具备 的 数据 ， 所 以 不 得 不 在 拓扑 设计 中 使 用 大 量 的 痛 口 ， 因 此 有 必要 设置 足够 多 的 socket 值 。 除 非 
你 无 法 再 增加 新 的 Socket 时 ， 再 考虑 在 其 他 服务 器 上 增加 工作 绪 点 吧 。 当 你 配置 完成 之 后 ， 记 住 再 检查 一 下 你 的 代码 。 


你 是 否 有 不 断 开局 或 天 闭 端 口 的 行为 ? 如 果 你 能 保持 连接 ， 尽 可 能 不 要 去 断 开 。 因 为 连接 中 存在 一 个 值 叫 TCP_WAIT， 当 一 
个 TCP 连 接 启用 时 ， 它 将 保持 等 待 接收 数据 的 状态 。 如 果 网 络 环境 不 是 很 好 (其 实 TCP 设 计 切 囊 融 是 为 了 应 对 较 差 的 网 络 ) ， 这 
将 是 一 个 很 好 的 策略 来 保持 数据 在 线 。 如 果 你 处 于 一 个 高 速 的 网 络 环境 中 ， 那 就 比较 疯狂 了 。 你 在 不 同 的 操作 系统 中 可 以 通过 调 
整 TCP stack 来 适应 TCP_WAIT 的 监听 ， 但 当 你 在 调用 大 量 的 网 络 请 求 时 ， 反 而 并 不 能 起 到 有 效 地 支撑 连接 效率 。 所 以 聪明 点 ， 
尽 可 能 不 要 去 频繁 开局 然后 断 开 连接 。 


7.8.2 ”人 磁盘 |/O 〇 冲突 


磁盘 上 的 MO 冲突 体现 在 你 对 磁盘 的 读 写 效 率 ， 这 可 能 会 成 为 storm 的 一 个 短 板 ， 但 并 不 常见 。 如 果 你 在 写 入 较 大 体积 的 日 
志文 件 ， 或 保存 计算 的 输出 结果 到 本 地 文件 系统 ， 这 可 能 会 是 一 个 问题 ， 但 通 弟 不 大 可 能 。 


如 果 拓 扑 在 写 入 数据 到 磁盘 时 ， 吞 吐 率 低 于 预期 ， 那 么 你 就 应 该 检查 一 下 是 人 否 有 工作 结 点 在 遭遇 磁盘 层面 的 Il/O 〇 ;中 突 了 。 对 
于 Linux 系 统 ， 你 可 以 借助 命令 iotop 来 查看 当前 磁盘 的 |/O 使 用 率 状 态 ， 特 别 是 有 问题 的 工作 结 点 。 这 个 命令 能 以 列表 的 形式 显 


示 当 前 系统 中 进程 /线程 的 |/O 用 量 ， 其 中 /OO 吞吐 率 最 密集 的 进程 /线程 将 排 在 最 前 面 。 如 图 7.19 所 示 ， 为 命令 输出 的 结果 以 及 我 
们 需要 天 注 的 点 。 


问题 

你 的 一 个 拓扑 在 从 磁盘 读 取 或 向 磁盘 写 入 数据 ， 看 上 去 工作 绪 损 运行 中 出 现 了 磁盘 的 MO 资源 冲突 。 
解决 方案 

有 以 下 方式 


“ 尽 可 能 减少 对 磁盘 的 数据 写 入 ， 这 需要 对 拓扑 做 一 些 修改 ,但 也 意味 着 在 同一 个 工作 结 点 中 依赖 磁盘 的 工作 进程 数 被 减少 


“ 换 一 块 更 快 的 磁盘 ， 也 许可 以 考虑 固态 存储 。 


如 果 你 写 入 的 是 NFS 或 者 是 其 他 类 型 的 网 络 文件 系统 ， 赶 紧 停 下 ， 因 为 写 入 NFS 系 统 本 身 就 很 慢 ， 你 这 是 在 为 自己 制造 了 


一 个 磁 一 层面 的 IO 冲突 。 


数 


二 


Total DISK _ READ: 0.00 B/s | Total DISK WRITE: 0.00 B/s 
PRIO USER DISK READ DISK WRITE COMMAND 
6578 be/4 storm 0.00 B/s 0.00 B/s 1.37 % 1.78 % java -server 一 X) 
6499 be/4 storm 0.00 B/s 0.00 B/s 0.96 % 1.72 % java -Server 一 X) 
6744 be/4 storm 0.00 B/s 0.00 B/s 0.55 % |1.65 % java -server —X) 
3157 be/4 storm 0.00 B/s 0.00 B/s| 1.10 % |1.65 %|java -server 一 X) 
6551 be/4 storm 0.00 B/s 0.00 B/s 0.00 % |1.65 % java -server —X) 
6500 be/4 storm 0.00 B/s 0.00 B/s 0.00 % 1.58 % java -server 一 X; 
6724 be/4 storm 0.00 B/s 0.00 B/s 1.10 % 1.58 % java -Server —X) 
6644 be/4 storm 0.00 B/s 0.00 B/s 1.37 % |1.58 % java -Server —X) 
6603 be/4 storm 0.00 B/s 0.00 B/s 1.10 % 1.51 % java -Server 一 X) 
6658 be/4 storm 0.00 B/s 0.00 B/s 1.30 % 1.51 % java -Server —X) 
3045 be/4 storm 0.00 B/s 0.00 B/s 0.76 % |1.51 % java -server —X 
3038 be/4 storm 0.00 B/s 0.00 B/s 0.75 % 1.51 % java —server —X) 
指定 进程 每 秒 指定 进程 每 秒 写 人 每 秒 1/O 调 用 量 
读 取 的 字 市 数 的 学 慷 数 的 百分比 
如 朵 任何 一 个 和 Storm 相 关 进 程 的 值 较 高 ， 那 意味 看 
当前 正面 临 磁 盘 层 面 上 的 1/0 资 源 冲突 。 和 Storm 相 关 的 
进程 通常 由 USER 是 “Storm” 来 辨别 
图 7.19 ”命令 iotop 的 输出 ， 用 于 判断 一 个 工作 结 点 是 否 处 于 磁盘 层面 上 的 1/O 〇 资源 冲突 
过 论 


速度 慢 的 磁盘 固然 很 糟糕 ， 这 会 把 人 带 疯 的 ， 而 速度 快 的 磁盘 价钱 又 不 便宜 。 我 们 运行 自己 Storm 工作 结 点 的 磁盘 速度 并 不 
快 ， 最 快 的 磁盘 留 到 最 需要 高 速 读 写 的 地 方 ， 例 如 : Elasticsearch、Solr、Riak、RabbitMQ 以 及 类 似 重读 写 的 组 件 。 如 果 你 需 
要 向 磁盘 写 入 大 量 的 数据 ， 而 此 时 你 手边 又 没有 高 速 磁 盘 ， 那 你 就 不 得 不 接受 当前 冲突 的 事实 吧 ， 也 是 少 有 只 能 用 钱 来 解决 的 问 


日 
融 。 
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小 结 


在 本 章 中 ， 你 学 到 了 : 


. 在 拓扑 层面 上 存在 多 种 类 型 的 资源 冲突 ， 所 以 有 必要 监控 运行 工作 结 点 的 操作 系统 各 方面 状态 ， 如 CPU、I/O 以 及 内 存 用 


“ 熟悉 一 些 监控 工具 很 重要 ， 可 以 用 来 帮助 你 监控 集群 中 物理 机 或 虚拟 机 的 操作 系统 。 在 Linux 中 ， 这 些 工具 包括 命令 saf、 


netstat 和 和 iotop。 


` 需要 了 解 J]VM 启 动 的 常用 配置 选项 ， 例 如 -Xms、-Xmx 以 及 GC 日 志 相关 。 


“ 尽管 Storm UI 提供 了 足够 强大 的 工具 来 支撑 对 各 种 类 型 冲突 的 诊断 ， 还 是 有 必要 借助 其 他 工具 来 监控 物理 机 /虚拟 机 层面 
上 的 各 项 指标 ， 来 确保 运行 状态 良好 。 


. 借助 自 定义 的 指标 或 监控 方式 ， 可 以 获得 比 Storm UI 更 有 效 的 拓扑 运行 状态 信息 。 
:在 增加 工作 结 点 上 运行 的 工作 进程 数量 时 务必 小 心 ， 因 为 你 可 能 引入 内 存 或 者 CPU 层面 上 的 资源 冲突 。 


` 在 减少 工作 结 点 上 运行 的 工作 进程 数量 时 务必 小 心 ， 因 为 你 可 能 会 影响 拓扑 的 吞吐 率 ， 同 时 在 你 的 集群 上 引入 工作 进程 层 
面 上 的 冲突 。 


第 8 重 ”Storm 内 核 


: 元 组 是 如 何在 执行 器 之 间 传 输 的 
-Stotm 的 内 部 缓存 机 制 

.Storm 内 部 缓存 的 溢出 和 调 优 

- 路 由 和 任务 

Storm 的 debug 日 志 输 出 


到 目前 为 止 , 我 们 已 经 花 了 四 章 的 篇 帆 来 讲述 Storm 的 应 用 ， 解 释 了 如 何 借助 Storm UI 来 判断 拓扑 的 运行 情况 ， 并 利用 这 
些 信息 来 调试 优化 你 的 拓扑 ， 以 及 如 何 诊断 并 处 理 拓扑 之 间 的 资源 冲突 问题 。 人 在 了 解 了 各 种 类 型 的 工具 之 后 ， 你 也 学 会 了 如 何 序 
分 利用 每 种 工具 的 优势 。 在 本 章 中 ， 我 们 将 更 进一步 : 深入 理解 Storm 的 内 部 原理 。 


为 什么 这 点 很 重要 ? 在 前 面 的 三 章 里 ,我 们 提供 了 各 种 工具 和 策略 来 排查 并 解决 各 种 问题 ， 但 永远 会 出 现 意料 之 外 的 情况 。 
每 个 Storm 集 群 都 是 独一无二 的 ,硬件 、 基 础 环境 和 代码 会 有 多 种 情况 的 构成 ， 我 们 无 法 覆盖 中 间 可 能 出 现 的 所 有 | 问题。 所 以 ， 
只 有 更 深入 地 了 解 Storm 的 原理 ， 你 才能 在 遇见 问题 的 时 候 具 备 判断 和 解决 问题 的 能 力 。 本 章 的 目的 ， 和 前 面 的 几 章 不 一 样 ， 将 
不 再 针对 具体 的 问题 展开 讨论 。 


如 果 希 望 精通 如 何 对 storm 执行 调 优 ， 如 何 调试 Storm 上 出 现 的 各 种 问题 ， 设 计 具 有 最 佳 效 率 的 拍 扑 结构 ， 以 及 其 他 各 种 和 
生产 环境 应 用 相关 的 任务 ， 你 就 必须 深入 掌握 每 一 个 你 正在 使 用 的 工具 。 在 本 章 中 ， 我 们 将 重点 关注 storm 的 抽象 
(abstraction) 层 ， 不 会 深入 到 最 底层 ， 因 为 storm 是 一 个 在 持续 开 友 演变 的 项 目 ， 特 别 是 它 的 最 底层 内 核 。 这 个 抽象 层 会 远 
复杂 于 我 们 目前 所 讨论 的 所 有 内 容 ， 而 这 也 正 是 我 们 希望 在 本 章 中 重点 说 明 的 部 分 。 不 敢 保证 你 可 以 从 本 章 中 党 握 多 么 有 深度 的 
知识 ， 但 可 以 确信 的 一 点 是 ， 想 要 熟悉 Storm 的 内 核 原 理 ， 就 必须 先 理解 本 章 中 所 描述 的 各 个 重点 。 


在 本 章 中 你 可 能 会 发 现 一 部 分 术语 和 Storm 源 代码 中 的 措 详 略 有 不 同 ,但 含义 上 是 类 似 的 。 先 说 明 ， 这 其 实 是 刻意 的 ， 因 为 


关注 的 重点 应 该 是 内 核 的 工作 原理 ， 而 不 是 它们 应 该 叫 什 么 名 字 。 


为 了 更 专注 于 解释 storm 的 内 核 原 理 而 不 是 去 摘 述 一 个 新 的 和 案例， 我们 将 以 之 前 的 案例 为 例 ， 那 融 是 在 第 2 章 中 提 到 的 对 提 
交 次 数 执行 统计 操作 的 拓扑 设计 。 先 回顾 这 个 案例 中 的 重点 部 分 ， 确 保 你 还 记得 。 


8.1 ”重新 考虑 提交 数 的 拓扑 设计 


统计 提交 效 的 拓扑 其 实 是 一 个 很 简单 的 拓扑 结构 (只 有 一 个 spout 和 两 个 bolt) ， 非 常 适 合用 来 解释 Storm 的 内 核 及 上 下 文 
的 应 用 ， 不 需要 去 考虑 过 多 的 细节 。 不 过 在 此 之 前 需要 对 其 中 几 个 点 做 下 湾 清 ， 以 便 更 清晰 地 表述 接 下 来 的 讲解 目的 ， 以 及 需要 
额外 增加 的 几 个 术语 。 首 先 杭 理 下 这 个 拓扑 。 


8.1.1 ”回顾 拓扑 的 设计 


回顾 一 下 第 2 草 ， 提 交 数 的 统计 拓扑 被 分 为 了 两 个 部 分 : 一 个 用 于 从 数据 源 读 取 提 交 数 的 spout; 两 个 bolt 分 别 完成 从 提交 
消息 中 抽取 email 地 址 ， 以 及 对 每 个 email 执 行 存 储 。 如 图 8.1 所 示 。 


实时 的 提交 数 数据 


源 ” 其 中 每 个 消 自 : ts 
源 ， 其 中 每 个 清晨 邦 "064874b nathan@example.com" 


包含 ID 和 email 地 址 ， 
并 由 一 个 空格 来 隅 开 


spout 用 于 读 取 数据 源 ， 并 将 包含 
单独 提交 消息 的 元 组 发 送出 来 


[commit="064874b nathanaeexample.com'" |j 


bolt 用 于 从 提交 数据 中 提取 email 地 址 ， 
并 将 其 包含 在 元 组 中 ， 然 后 发 送 
[emal1="nathanaexample.com'" ] 


数据 至 内 存 映 射 表 


提取 email 


更 新 email 的 
计数 硕 


图 8.1 提交 数 统计 拓扑 和 spout 与 bolt 之 间 的 数据 流向 


这 是 一 种 前 向 的 设计 ， 所 以 很 容易 理解 ， 也 是 为 什么 我 们 选择 它 作 为 解释 Storm 内 核 的 案例 。 有 一 件 事情 ， 残 是 我 们 在 本 章 
中 部 署 拓扑 的 万 式 是 远程 ， 而 不 是 在 本 地 运行 。 所 以 先 说 说 为 什么 这 人 么 做 ， 以 及 如 何 实现 远程 部 署 和 相应 的 工作 结 点 配置 。 


8.1.2 ”假设 用 拓扑 运行 在 远程 storm 集群 上 


了 解 运 行 在 远程 Storm 集群 上 的 这 个 拓扑 ， 对 于 理解 本 章 的 内 容 很 重要 ， 因 为 我 们 接 下 来 要 进 解 的 Storm 内 核 仪 限于 配置 远 


呈 集 群 。 为 此 ， 我 们 假定 拓扑 运行 在 两 个 工作 结 点 之 上 ， 这 样 可 有 助 于 理解 元 组 在 相同 工作 进程 (JVM) 的 组 件 之 间 ， 以 及 不 
同 工 作 进程 〈 从 一 个 JVM 到 另外 一 个 ) 之 间 的 传输 问题 。 两 个 工作 结 点 执行 Spout 和 和 bolt 的 情况 如 图 8.2 所 示 。 这 幅 图 可 能 看 上 去 


很 熟悉 ， 因 为 在 第 5 草 我 们 提 到 过 类 似 的 配置 ， 是 信用 卡 授权 验证 的 拓扑 配置 。 


8.1.3” 逆 岂 是 如 何在 集群 的 spoutQbolt 之 则 传输 的 


让 我 们 先 看 看 元 组 是 如 何 流转 于 拓扑 之 间 的 ， 这 点 和 第 2 草 中 介绍 的 类 似 ， 但 演示 角度 不 同 ， 如 图 8.1 所 示 ， 我 们 要 演示 的 是 
在 实例 之 间 ， 跨 越 执 行 器 和 工作 进程 的 spout 与 bolt 中 数据 流动 情况 ， 如 图 8.3 所 示 。 


我 们 的 拓扑 在 两 个 工作 绪 点 《物理 机 或 虚拟 机 ) 


上 执行 数据 处 理 ， 每 个 工作 结 点 上 都 运行 了 一 个 
独立 的 工作 进程 (JVM ) 


工作 结 点 工作 结 点 


工作 进程 


监听 提交 数 
效 据 源 


spout 


第 一 个 工作 进程 (JVM ) 在 两 个 独立 的 执行 第 二 个 工作 进程 (JVM ) 执行 了 最 后 
伪 ( 线程 ) 上 分 别 执行 了 spout 的 实例 ， 以 及 为 一 个 执行 希 〈 线 程 ) 中 的 bolt 实 例 


外 第 一 个 bolt 实 例 


图 8.2 ”在 两 个 工作 结 点 上 运行 的 提交 数 统计 拓扑 ， 其 中 一 个 工作 进程 用 于 执行 spout 和 bolt， 另 外 一 个 则 只 是 执行 bolt 


| "064874b nathan@Qexample.com" 


监听 提交 数 


效 据 源 email 

一 spout | bolt | 

从 一 个 数据 源 
读 取 数据 


运行 我 们 spout ”在 相同 工作 ”运行 我 们 bolt ”在 不 同 工 作 运行 我 们 bolt 实 例 
实例 的 执行 全。 进程 (JVM ) ”实例 的 执行 器 ”进程 (JVM ) ”的 执行 器 (线程 ) 


(线程 ) 上 进行 元 组 的 《线程 ) 上 进行 元 组 的 
本 地 发 送 还 程 发 送 


图 8.3 ”将 流入 拓扑 的 数据 流 分 为 六 个 部 分 ， 每 个 部 分 的 突出 内 容 是 和 其 他 进程 中 执行 器 处 理 有 区 别 的 地 方 


图 8.3 很 好 地 解释 了 元 组 在 同一 个 JVM (工作 进程 ) 下 不 同 工 作 结 点 的 spout 和 bolt 实 例 之 间 传 输 的 过 程 ， 以 及 在 不 同 
JVM (工作 进程 ) 之 间 不 同 工 作 结 点 的 spout 和 0bolt 实 例 之 间 传 输 的 过 程 。 试 想 如 果 将 图 8.3 放 大 10000 售 ， 元 组 又 是 如 何在 这 些 
组 件 之 间 流 转 的 呢 。 本 章 的 目的 束 是 将 图 8.3 中 的 内 容 做 更 深 一 步 地 分 析 ， 追 随 数据 的 路 线 ， 了 解 这 些 执行 器 的 具体 执行 原理 。 


8.2 ”探究 执行 器 的 细 三 
在 上 一 章 中 ， 我 们 提 到 执行 器 其 实 是 运行 在 一 个 JVM 上 的 独立 线程 ， 这 种 说 法 没有 问题 。 在 我 们 平常 发 布 拓扑 时 ， 需 要 对 


这 个 执行 器 的 概念 做 抽象 性 思考 ， 那 融 是 它 不 仅仅 是 一 个 简单 的 线程 。 具 体 什 么 意思 呢 ， 我 们 融 先 从 数据 源 读 取 数 据 的 spout 实 
例 开始 说 起 吧 。 


8.2.1 ”监听 提交 数 数 据 源 spout 的 执行 器 细 广 


数据 要 进入 拓扑 ， 需 要 先进 入 数据 源 ， 然 后 由 监听 提交 数 数 据 源 的 spout 获 取 ， 按 照 独 立 的 提交 数 来 输入 。 拓 扑 中 涉及 这 一 
部 分 的 数据 流 同 图 如 图 8.4 所 示 。 


| "6B48 7 4PD natnanldexampjle.com" 


监听 提交 数 


这 据 狐 


spout 


一 一 一 一 


我 们 关注 的 是 这 个 spout 如 何 从 数据 
源 该 取 数 据 ， 以 及 在 执行 希 中 发 和 后 了 
什么 ， 可 以 让 spout 实 现 传输 数据 


图 8.4 数据 是 如 何 流入 spout 的 


所 以 这 里 的 执行 器 远 不 止 是 一 个 简单 的 线程 ， 它 实际 上 是 两 个 线程 和 一 个 队列 。 其 中 第 一 个 线程 称 之 为 主线 程 (main 
thread) ， 主 要 运行 由 用 户 目 定 义 的 代码 ， 那 么 在 这 个 例子 中 ， 融 是 我 们 写 在 nextTuple 中 的 功能 部 分 。 第 二 个 线程 称 之 为 友 送 
线程 (send thread) ， 我 们 将 在 下 一 证 中 详细 讲解 ， 它 主要 用 于 处 理 如 何 将 元 组 友 送 至 拓扑 中 下 一 个 bolt 中 的 。 


除了 这 两 个 线程 ， 还 有 个 独立 的 队列 ， 用 于 将 元 组 从 执行 器 友 射 出 来 ， 你 可 以 理解 这 是 一 个 具备 后 期 处 理 能 力 的 spout 队 
列 。 


队列 被 设计 成 一 个 在 执行 器 之 间 执 行 高 性 能 消息 发 送 的 机 制 ， 队 列 实现 依赖 于 著名 的 第 三 方 库 LAMX Disruptorlj， 所 以 你 
只 需要 了 解 到 Storm 内 部 是 采用 disruptor 队 列 来 实现 的 执行 器 队列 即 可 。 如 图 8.5 所 示 ， 我 们 spout 的 执行 器 细节 包含 两 个 线程 
和 一 个 队列 。 
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spout 从 队列 中 读 取 包 
含 提 交 数 据 的 请 朋 


@ 主 线程 用 于 
处 理发 送 元 组 | 


监听 提交 数 


效 据 源 的 


spout 


@@》 主线 程 尾 需要 发 送 的 
元 组 数据 分 发 到 对 外 
的 Disruptor 队 列 


图 8.5 spout 从 队列 中 读 取 数 据 ， 其 中 包括 了 提交 数 的 消息 ， 需 要 将 其 转换 成 元 组 。 执 行 器 中 的 主线 程 是 处 理发 送 元 组 ， 将 这 些 
数据 发 送 至 执行 器 的 发 出 队列 


(CY 


图 8.5 中 包含 了 需要 由 spout 实 例 读 取 输 入 的 数据 ， 以 及 主线 程 如 何 处 理由 spout 友 射 的 元 组 ， 并 将 其 置 入 输出 的 队列 中 。 这 
里 唯一 没有 包含 的 内 容 ， 是 当 元 组 置 入 到 输出 队列 之 后 的 部 分 ， 因 为 这 里 是 由 友 送 线程 来 控制 的 。 


[1] LMAX Disruptor 是 一 个 开源 的 高 性 能 内 置 三 方 消息 队列 库 ， 项 目地 址 : http://lmaxexchange.github.io/disruptor。 


8.2.2 ”在 同一 个 J 人 VM 中 两 个 执行 器 之 间 传 输 元 组 


我 们 的 元 组 已 经 车 入 到 用 于 输出 的 分 友 队 列 中 了 ， 现 在 呢 ? 在 我 们 开始 讲解 之 前 ， 先 看 看 数据 在 拓扑 中 的 位 置 ， 如 图 8.6 所 


时 | | 
2 
oo 


监听 提交 数 提取 
效 据 源 的 email 


spout 信息 的 bolt 


元 组 是 如 何在 同一 个 工作 进程 (JVM ) 
的 不 同 执行 着 (线程 ) 之 轩 传 输 的 
图 8.6 ”数据 如 何在 同一 个 J]VM 内 传输 
一 旦 数据 被 置 入 到 spout 的 分 友 队列 ， 友 送 线程 束 会 依次 从 队列 中 读 取 元 组 ， 然 后 通过 传输 功能 (transfer function) 发 送 
至 对 应 的 执行 器 。 


因为 监听 提交 数 数据 源 的 sgpout 和 提取 email 的 bolt 在 同一 个 JVM 上 ， 所 以 传输 方法 会 在 本 地 执行 器 之 间 来 执行 一 个 本 地 传 
输 (local transfer) 万 法 。 当 一 个 本 地 数据 传输 开始 了 ， 那 么 执行 器 将 企 线程 上 直接 上 友 送 元 组 到 另外 一 个 执行 器 。 由 于 两 个 执 
行 器 都 在 同一 个 JVM 中 ， 所 以 友 射 的 过 程 中 不 会 出 现 什么 瓶 贷 ， 效 率 会 相当 高 ， 具 体 效果 如 图 8.7 所 示 。 


那么 我 们 第 一 个 bolt 的 执行 器 是 如 何 直接 接收 元 组 的 呢 ? 这 部 分 内 容 将 在 下 一 节 中 讲解 ， 我 们 将 一 一 分 解 用 于 提取 email 的 
bolt 执 行 器 。 


发 送 线程 将 元 组 从 输出 
@ Whi , 并 提交 给 下 
一 个 执行 器 


执行 第 


@@ 直接 置信 到 分 发 队列 ,传输 给 
同一 个 JVM 中 的 另外 个 执行 器 


图 8.7 ”监听 提交 数 数 据 源 的 spout 和 提取 email 的 bolt 之 间 实 现 元 组 传输 的 具体 细节 


8.2.3 提取 email bolt 的 执行 器 细节 


到 目前 为 止 我们 已 经 分 析 了 读 取 提交 数 数据 源 的 spout， 以 及 将 处 理 后 的 提交 消息 数据 以 元 组 形式 友 射 出 来 的 部 分 ， 这 也 是 
第 一 个 bolt 的 实现 过 程 ， 接 下 来 焉 是 接收 元 组 数据 然后 提取 email。 如 图 8.8 所 示 ， 突 出 部 分 为 数据 沅 程 。 


皖 取 email 
的 bolt 


一 一 一 一 一 一 


在 一 个 执行 器 上 运行 的 bolt 实 例 ， 关 注 
如 何 实现 从 另外 一 个 组 件 接收 输入 元 组 ， 
并 发 送 一 个 输出 元 组 


图 8.8 发 送 一 个 元 组 的 bolt 


你 可 能 会 有 一 种 疑问 ， 那 残 是 这 样 的 bolt 和 之 前 提 到 spout 中 的 执行 器 有 什么 区 别 呢 。 其 实 这 里 唯一 真正 的 区 别 ， 融 在于 
bolt 中 的 执行 器 相 比 spout 的 执行 器 ,拥有 一 条 额外 的 队列 : 专门 处 理 输 入 的 元 组 。 这 意味 着 我 们 bolt 的 执行 器 有 一 个 输入 的 分 
发 队列 ， 一 个 主线 程 将 从 分 友 线 程 上 读 取 元 组 ， 然 后 推 到 处 理 环 石 ， 并 排列 在 外 友 的 分 友 队 列 上 ， 以 一 个 或 多 个 的 形式 友 送 出 
去 。 结 构 的 细 化 详情 如 图 8.9 所 示 。 


@ 主线 程 性 元 组 从 @ 主线 程 将 带 发 射 的 元 
队列 中 提取 出 来 组 置信 输出 的 分 发 队列 


一 个 元 组 续 人 输入 
的 分 发 队列 


Q@ GO 主线 程 将 元 组 发 送 到 bolt 的 实例 中 ， 
用 于 处 理 数据 并 生成 待 发 射 的 元 组 


图 8.9 ”bolt 中 的 执行 器 ， 包 含 两 个 线程 和 两 个 队列 


一 旦 用 于 提取 email 的 bolt 完 成 了 元 组 的 处 理 ， 残 可 以 置 入 下 一 个 bolt， 继 续 接 下 来 的 流程 。 这 里 已 经 讨论 了 一 个 元 组 在 提 
交 数 数据 源 的 监听 spout 与 提取 email 的 bolt 之 间 建 立 的 传输 机 制 ， 而 且 一 切 全 部 友 生 在 本 地 。 但 当 从 提取 email 的 bolt 友 送 数据 
到 提交 数 计数 的 bolt 时 ， 由 于 两 个 bolt 分 别 运 行 在 不 同 的 VM 上 ， 所 以 情况 会 略 有 不 同 。 我 们 接 下 来 整 来 看 看 这 种 情况 下 ， 系 统 
的 工作 机 制 是 什么 。 


8.2.4 ”在 不 同 JVM 上 的 两 个 执行 器 之 间 传 输 元 组 


在 之 前 曾 讨 论 过 ， 负 责 email 的 提取 和 提交 数 技术 的 bolt 分 别 运 行 在 不 同 的 VM 上 。 接 下 来 要 讨论 的 拓扑 中 处 理 这 部 分 数据 
的 位 置 ， 如 图 8.10 所 示 。 


这 里 讨论 的 是 在 不 同 工 作 进程 (JVM ) 
上 执行 着 (线程 ) 之 间 发 这 元 组 的 过 程 


图 8.10 在 JVM 之 间 发 送 元 组 


当 一 个 元 组 友 射 到 运行 在 另外 一 个 JVM 上 的 执行 器 时 ， 友 射 的 续 程 将 执行 传输 功能 方法 来 调用 远程 传输 。 远 程 传输 不 仅 仪 
包含 本 地 的 传输 ， 还 包含 额外 的 发 射 功能 。 当 Storm 需 要 在 JVM 之 间 发 射 元 组 时 ， 系 统 会 做 什么 响应 呢 ” 首先 是 将 需要 发 射 的 元 
组 执行 序列 化 ， 针 对 不 同类 型 的 元 组 ， 这 一 步 可 能 会 消耗 大 量 的 资源 。 当 序列 化 完成 之 后 ，storm 会 开始 冯 试 为 对 象 寻找 一 个 
Kryo 序 列 化 容器 ， 并 准备 发 射 的 工作 。 如 果 Kryo 资 源 不 足 ，Storm 会 回 退 采用 标准 的 Java 对 象 序列 化 方式 。Kryo 的 序列 化 操作 
在 性 能 上 要 远 高 于 Java 的 序列 化 功能 ， 所 以 如 果 你 特别 看 重 对 拓扑 每 一 个 环 市 的 性 能 优化 ， 那 么 在 这 里 束 需 要 为 元 组 做 序列 化 的 
目 定义 配置 。 


一 旦 一 个 元 组 在 人 VM 内 部 实现 了 序列 号 的 传输 配置 ， 我 们 的 执行 器 将 通过 发送 或 传输 线程 ， 将 其 置 入 到 另外 一 个 分 友 队列 
中 。 这 个 队列 是 整个 VM 的 传输 队列 ， 任 何 时 间 一 个 JVM 上 的 执行 器 需要 传输 元 组 到 另外 一 个 JVM 上 的 执行 器 ， 所 有 的 序列 化 
元 组 都 需要 被 置 入 到 这 个 队 歼 中 。 


一 旦 元 组 进入 了 该 队列 ， 另 外 一 个 工作 进程 的 友 送 或 传输 线程 将 基于 TCP 通 信人 在 这 里 来 执行 提取 操作 ， 并 基于 网 络 传 送 到 目 
标 JVM 中 。 


在 目标 JVM 中 ， 也 惑 是 另外 一 个 工作 进程 将 执行 接收 线程 ， 按 次 序 等 待 并 接收 元 组 ， 然 后 再 依次 传 入 另外 一 个 方法 来 执行 


接收 功能 。 负 责 接 收 功 能 的 万 法 ， 和 执行 器 的 传输 方法 类 似 ， 是 一 个 针对 元 组 传输 执行 路 由 操作 的 功能 。 接 收 线程 将 我 们 的 元 组 
置 入 到 输入 队列 ， 用 于 等 待 其 他 执行 器 的 主线 程 来 获取 并 执行 下 一 步 的 处 理工 作 。 这 个 流程 完整 效果 如 图 8.11 所 示 。 


@ 另外 一 个 IVM 的 接收 线程 收 到 
@ 将 其 发 动 到 另外 一 个 ”元 组 后 ,将 其 置信 相应 执行 器 
JVM 的 接收 线程 的 输入 分 发 队列 


1 工作 进程 
发 送 /传输 线程 接收 线程 


mn 


人 JVM 的 发 送 和 传输 
线程 从 对 外 分 发 队 
列 中 读 取 元 组 


执行 侣 


@ 发 送 线程 将 元 组 置 人 并 将 其 直接 置信 JVM 
执行 希 的 对 外 分 发 队列 的 对 外 分 发 队列 


图 8.11 元 组 在 不 同 JVM 之 间 执 行 远程 传 输 的 过 程 


在 我 们 的 提交 数 计 数 案例 中 ， 提 取 email 的 bolt 将 把 元 组 中 的 email 信 息 分 离 出 来 ， 格 式 类 似 于 sean@example.com， 并 将 
其 置 入 执行 器 的 传输 队列 ， 由 发送 线程 取出 然后 提交 人 至 传输 方法 。 由 于 已 经 执行 了 序列 化 ， 所 以 可 以 直接 畦 入 结 点 的 传输 队列 。 
另外 一 个 线程 将 从 队列 中 取出 这 些 元 组 ， 然 后 通过 TCP 友 送 到 下 一 个 结 点 ， 并 交 由 接收 线程 接收 ,然后 基于 接收 的 万 法 ，3 引 导 至 
正确 的 执行 器 输入 分 友 队 列 。 


简单 介绍 下 Netty 


在 本 节 中 ， 我 们 在 讨论 Stotm 中 JVM 之 间 连 接 时 提 到 了 TCP。 在 当前 的 Storm 版 本 中 ， 网 络 的 传输 是 基于 Netty 来 实现 的 ， 这 是 
一 个 极其 强大 的 高 性 能 网 络 应 用 程序 框架 ， 提 供 了 足够 丰富 的 设置 来 支持 你 优化 性 能 。 


对 于 一 个 标准 安装 下 的 Storm， 你 不 需要 对 Storm 提 供 的 Netty 可 配置 项 做 任何 调整 。 如 果 你 发 现 遇 见 了 和 Netty 有 关 的 网 络 性 
能 问题 ， 那 么 和 调试 其 他 问题 的 方式 一 样 ， 先 找到 评估 的 标准 ， 然 后 再 进行 优化 操作 。 


如 何 基 于 系统 的 信息 调整 对 应 的 配置 ， 实 现 对 Netty 的 优化 工作 ， 这 些 不 在 本 书 的 讨论 范围 中 。 如 果 你 感 兴趣 ， 希 望 了 解 更 


多 关于 Netty 的 信息 ， 推 荐 阅读 由 Netty 贡 献 者 Norman Mauret 著 的 《Netty 指 南 》 (Manning 出 版 ，2015 年 ) 一 书 。 


8.2.5 ”email 计 数 bolt 的 执行 器 细节 


该 执行 器 中 的 bolt 和 和 前 一 个 执行 器 中 的 bolt 原 理 很 类 似 ， 但 由 于 这 个 bolt 不 需要 友 射 元 组 ， 所 以 不 需要 为 这 个 执行 器 增加 友 
送 线程 。 执 行 器 之 间 的 元 组 流向 如 图 8.12 所 示 。 


这 个 运行 在 执行 器 上 的 bolt 实 侦 
接收 从 其 他 组 件 置信 的 输入 元 组 
但 并 不 外 发 任何 输出 元 组 


图 8.12 不 需要 发 送 元 组 的 bolt 


执行 器 中 的 具体 细节 如 图 8.13 所 示 ， 注 意 这 里 的 处 理 环节 相 比 之 前 有 所 减少 ， 那 是 因为 我 们 不 需要 在 这 个 bolt 中 执行 发 射 操 
作 。 


我 们 的 数据 融 这 样 从 spout 开 始 ， 经 过 这 里 实现 email 的 统计 环节 ， 完 成 后 这 个 bolt 的 价值 也 融 结 束 了 。 统 计数 据 接 下 来 将 
更 新 内 容 ， 包 括 email 的 地 址 ， 然 后 进入 下 一 阶段 的 处 理 。 用 于 email 统 计 的 bolt 不 会 产生 新 的 元 组 ， 它 只 用 于 实现 输入 元 组 的 数 
据 更 新 。 


主线 程 从 队列 中 取出 元 组 


发 送 线程 


@ 元 组 被 捧 和 对 
内 分 发 队列 


6 主线 程 将 元 组 发 送 到 bott 实 例 ， 用 于 完成 下 一 步 处 理 。 
因为 bolt 不 再 发 射 新 的 元 组 ， 所 以 主线 程 在 推 入 对 外 
分 发 队列 时 不 会 包含 任何 新 增 的 元 组 


图 8.13 ”用 于 email 统 计 的 bolt 所 在 执行 器 详情 ， 一 个 主线 程 负责 从 对 内 分 发 队列 里 取出 元 组 ， 然 后 将 该 元 组 推 入 bolt 实 例 完 成 后 续 


8.3 ”路 由 和 任务 


在 本 书 的 前 部 分 中 ， 我 们 为 了 解释 一 些 基本 概念 ， 不 得 不 省 略 了 大 量 的 细节 。 那 么 在 本 章 的 前 半 部 分 ， 我 们 也 省 略 了 一 些 重 
所 内 容 。 但 不 用 担心 ， 接 下 来 我 们 残雪 集中 解释 省 略 挥 的 这 部 分 内 容 ， 是 属于 Storm 中 的 一 块 核心 组 成 : 路 由 和 任务 。 


\ 一 /一 


回顾 第 3 章 ， 我 们 提 到 了 执行 器 和 任务 ， 如 图 8.14 所 示 ， 看 上 去 是 不 是 很 熟悉 ”这 是 对 一 个 工作 结 点 中 JVM 里 运行 任务 的 执 
行 器 (spout 或 者 bolt 实 例 ) 分 解 ， 但 根据 我 们 目前 涉及 的 内 容 ， 做 了 些 补充 更 新 。 


» 工作 进程 中 的 
工作 进程 接收 线程 py ] 发 送 /传输 线程 


列 的 工作 进程 


执行 希 包 售 两 段 分 发 队列 【对 内 /对 外 ) 、 
一 个 主线 程 、 一 个 发 送 线程 和 一 个 尾 务 
图 8.14 将 工作 进程 中 的 线程 和 队列 做 分 解 ， 包 括 执行 器 、 内 部 线程 、 队 列 和 任务 


如 果 对 任务 再 深 挖 一 点 ， 会 友 现 在 第 3 章 中 我 们 曾 提 到 ， 一 个 执行 器 可 以 运行 一 个 或 多 个 任务 ， 所 以 执行 器 实现 的 束 是 在 任 
务 中 执行 用 己 逻 辑 。 当 一 个 执行 器 拥有 多 个 任务 时 ， 上 有 具体 的 流程 是 什么 样 的 呢 (如 图 8.15 所 示 ) ? 


这 里 瓯 引入 了 重要 的 路 由 功能 ， 路 由 (routing) 在 上 下 文中 担负 着 控制 工作 进程 的 接收 线程 (远程 传输 ) ， 或 者 是 控制 执 
行 器 的 友 送 线程 (本 地 传输 ) 友 射 一 个 元 组 到 下 一 个 任务 的 正确 地 址 ， 所 以 它 是 一 个 多 进程 化 的 组 件 。 这 里 以 email 提 取 的 部 分 
为 例 ， 如 图 8.16 所 示 ， 看 看 email 提 取 器 主线 程 执行 execute 方 法 友 射 一 个 元 组 之 后 的 情况 。 


如 图 8.16 所 示 ， 情 况 看 上 去 是 不 是 很 熟悉 呢 ， 它 包 合 了 一 些 之 前 我 们 讨论 过 的 内 部 队列 和 线程 ， 从 而 分 别 决定 每 个 任务 的 分 
工 ， 包 括 执行 元 组 的 发 射 工作 。 图 中 引用 的 任务 ID 和 元 组 将 进行 配对 ， 格 式 类 似 于 如 下 对 象 的 类 型 


TaskMessage: 


public class TaskMessage 1 
private int task,; 
private bytel] message; 


{HII {IT 


当 一 个 执行 全 文 持 多 个 任务 时 ， 应 该 如 何 
判断 哪个 任务 执行 哪 一 个 元 组 呢 ? 
图 8.15 一 个 多 任务 的 执行 器 


这 基本 上 残 是 我 们 接 下 来 需要 了 解 Sstorm 的 内 部 队列 了 ， 现 在 来 看 看 什么 情况 下 队列 可 能 产生 洛 出 ， 以 及 出 现 溢出 后 如 何 解 


国 执行 器 的 传输 方法 ， 基 于 bolt ( 字段 分 组 ) ”和 @ 对 于 一 个 处 于 远程 JVM 上 的 任 
的 流 分 组 方式 ， 用 于 查找 哪个 任务 ( 注意 务 ， 将 首先 为 任务 寻找 结 点 的 端 
这 里 提 到 的 是 任务 ， 而 不 是 执行 器 ) 将 处 口 ， 然 后 将 配对 的 消息 任务 推 人 
理 email 地 址 的 发 送 工作 结 点 的 对 外 分 发 队列 


发 送 /传输 线程 


任务 ， 配 对 后 的 任务 将 发 布 
到 对 内 分 发 队列 ， 巾 任务 的 
执行 融 来 接手 下 一 步 处 理 


@ 任务 的 ID 和 元 组 将 进行 配对 ”全 构建 对 外 分 发 队列 ， 执 行 器 的 发 送 线程 
(任务 , 元 组 ) ,然后 发 布 到 ”将 选取 配对 后 的 任务 /元 组 ， 选 择 是 由 本 
执行 器 的 对 外 分 发 队列 地 JVM 的 执行 器 来 处 理 该 任务 ,还 是 将 

其 寄存 到 男 外 一 个 远程 JVM 中 


图 8.16 ”对 发 射 元 组 的 目标 任务 处 理 过 程 做 分 解 


8.4” 当 Storm 的 内 部 队列 出 现 ; 益 出 时 


目前 我 们 已 经 介绍 了 大 量 有 关 任 务 和 队列 的 信息 ， 你 已 经 对 执行 器 的 组 成 有 了 一 个 深入 的 理解 ， 在 正式 进入 讲解 调试 方法 之 
前 ,我们 还 需要 先 总 结 一 下 Storm 中 已 知 的 三 种 内 部 队列 。 


8.4.1 ”内 部 队列 的 类 型 和 可 能 出 现 ; 益 出 的 情 ; 


在 讨论 执行 器 时 ， 我 们 将 Storm 的 内 部 队列 划分 为 三 种 : 

一 个 执行 器 的 输入 队列 。 

` 一 个 执行 器 的 输出 队列 。 

一 个 工作 结 点 中 的 对 外 队列 。 

在 正式 讨论 故障 排查 和 故障 隐患 之 前 ， 先 解决 一 个 问题 : 是 什么 将 导致 队列 出 现 溢出 ? 


这 个 问题 其 实 不 复杂 ， 想 让 一 个 队列 出 现 洪 出 ， 只 需要 让 输入 的 数据 量 超 过 队列 的 处 理 能 力 即 可 。 这 也 束 等 价 于 讨论 生产 者 
和 消费 者 之 间 的 关系 ， 所 以 我 们 先 看 看 执行 器 的 输入 队列 情况 吧 。 


执行 器 的 输入 队列 


这 个 队列 将 用 于 接收 由 拓扑 中 spout/bolt 产 生 的 元 组 ， 如 果 spout/bolt 产 生 的 元 组 速度 快 于 接收 bolt 的 处 理 速 度 ， 那 么 该 队 
列 将 面临 溢出 的 问题 。 


下 一 个 可 能 出 现 问 题 的 队列 ， 是 执行 器 的 对 外 传输 队列 。 
执行 器 的 对 外 传输 队列 


这 个 队列 的 问题 比较 灰 手 ， 因 为 它 存 在 于 执行 器 的 主线 程 和 用 尸 逻 辑 之 | 间 ， 而 传输 线程 用 于 处 理 元 组 到 下 一 个 任务 的 路 由 选 
择 。 如 果 该 队列 上 需要 局 动 备案 应 急 ， 那 束 说 明 输 入 元 组 的 处 理 速 度 远大 于 路 由 选择 和 序列 化 等 处 理 的 效率 。 不 过 这 种 情况 真 的 
很 少见 ， 至 少 我 们 到 目前 都 没有 遇 到 过 ， 但 相信 一 定 有 人 遭遇 过 类 似 经 历 。 


如 果 我 们 在 处 理 一 个 需要 传输 到 另外 一 个 JVM 的 元 组 ， 就 可 能 遇见 第 三 个 队列 ， 工 作 进程 的 对 外 传输 队列 。 
工作 进程 的 对 外 传输 队列 


这 个 队列 将 接收 各 工作 结 点 上 不 同 工 作 进程 上 所 有 执行 器 友 射 过 来 的 元 组 ， 如 果 有 来 自足 够 多 的 工作 进程 的 执行 器 在 产生 元 
组 ， 并 且 通 过 网 络 途径 友 射 到 其 他 工作 进程 中 ， 那 残 有 极 大 的 可 能 出 现 缓冲 区 溢出 ， 但 除非 极 大 的 俊 源 处 理 需 求 才 可 能 会 遇 到 这 
样 的 情况 。 


如 果 其 中 任意 一 个 缓冲 区 出 现 洪 出 ， 会 出 现 什 么 情况 呢 ? 理想 情况 下 ，Storm 会 把 溢出 的 元 组 放 到 一 个 临时 的 缓存 区 ， 直 到 
队列 腾 出 可 用 的 空间 ， 但 这 可 能 会 导致 缓冲 区 吞吐 量 出 现 严 重 墙 塞 ， 最 终 使 拓扑 不 得 不 选择 将 它 摧毁 把 。 如 果 你 在 元 组 中 采取 了 
随机 分 组 的 方式 ， 每 个 任务 都 进行 了 平均 分 有 友 ， 出 现 问 题 后 你 可 以 采取 第 6 章 和 第 7 章 中 介绍 的 方法 来 进行 排查 以 及 目标 优化 。 


但 如 果 你 没有 对 任务 采取 平均 分 发 的 设计 ， 那 么 问题 将 会 很 难 排查 ， 可 能 停留 在 一 个 微观 水 平 上 ， 第 6 章 和 第 7 章 中 的 方法 
将 无 法 支持 你 做 出 判断 。 所 以 你 需要 做 的 是 先 确定 到 底 是 哪个 缓存 区 出 现 了 堵塞 ， 然 后 判断 怎么 样 去 优化 它 ， 所 以 此 时 我 们 就 要 
正式 开始 讨论 storm 的 调试 日 志 。 


8.4.2 ”使 用 storm 的 debug 日 志 来 诊断 缓冲 区 溢出 
查询 Storm 内 部 哪里 出 现 缓冲 区 溢出 的 最 好 手段 ， 就 是 查看 storm 日 志 输 出 中 的 debug 日 志 。 一 个 Storm 日 志文 件 的 样 例如 
图 8.17 所 示 。 


在 TopologyBuildersetBolt 方 
法 中 定义 指 定 bolt 实 例 的 ID 


4 
2014-09-28 07:03:05 b.s.d.task [INFO] Emitting: my-bolt _ metrics 
[#<TaskInfo backtype.storm.metric.apl.IMetricsConsumersTaskIinfo@8394a98> 
[#<DatapPoint [_ _ack-count = {}]> 

tl ni ndqueu T 1 | 1 
二 Gal Lnt | 1 a 
#<DataPoint [__proce latency = ] A 
#<DatapPoint ransti Count = 1__1 rl = pA 
#<DatapPoint [.__execu laten = / 
#<DatapPoint [ fail U1 = ] > - 
#<DataPoint [__emil ut = { metrics=0 
#<DataPoint [.__execute-count = {}]>]] | 
、 ”针对 发 送 /接收 队列 的 判断 指标 ， 


在 本 周 稍 后 部 分 会 详细 介绍 


图 8.17 ”一 个 bolt 实 例 的 debug 日 志 输 出 截图 


在 图 8.17 中 ， 我 们 突出 显示 的 部 分 与 友 送 /接收 队列 有 天 ， 其 中 定义 的 指标 分 别针 对 对 应 的 对 内 。 接 下 来 ,我 们 殊 分 别 看 看 
这 两 个 队列 的 相关 细 市 。 


两 个 队列 情况 打印 输出 如 图 8.18 所 示 ， 很 容易 看 出 是 否 面临 滩 出 。 假 设 你 在 使 用 随机 群 组 的 方式 ， 在 bolt 和 任务 中 平均 分 配 
元 组 ， 那 么 出 现 问题 的 时 候 排查 起 来 会 稍 显 容易 点 。 但 假设 你 没有 使 用 平均 分 配 的 方式 来 实现 元 组 的 分 组 ， 那 么 排查 问题 的 时 候 
就 会 困难 很 多 。 此 时 一 些 自动 化 日 志 分 析 万 式 也 可 以 提供 一 些 支持 ， 因 为 日 志 条 目的 格式 已 经 事先 规范 好 了 ， 所 以 要 做 的 束 是 找 
到 合适 的 工具 ， 从 日 志 中 提取 有 价值 的 信息 或 者 接近 于 我 们 需要 的 临界 指标 参数 值 。 


队列 的 最 大 太 寸 队列 中 当前 的 条 目 数 


{write_pos=-1, read_ pos=-1, capacity=1024, population=0}]> 
{write_pos=54, read_ pos=53, capacity=1024, population=1}]> 


| 


#<DataPoint [._sendaqueue 
#<DataPoint [.__receive 


该 bolt 实 例 中 发 送 /接收 的 队列 容量 还 没有 
达到 极限 值 ， 但 如 末 接 近 或 者 到 达 极 限 值 ， 
那么 束 可 以 判断 该 队列 面临 洲 出 风险 


图 8.18 ”从 debug 日 志 的 输出 中 提取 队列 的 发 送 / 接 收 指 标 


那么 现在 当 你 已 经 知道 如 何 判断 Storm 的 内 部 是 否 存 在 一 个 队列 有 溢出 问题 ， 我 们 残 接 下 来 看 看 如 何 解 决 溢出 的 问题 。 


8.5 处理 storm 内 部 缓冲 区 洪 出 问题 


你 可 以 按照 以 下 四 种 方式 来 处 理 Storm 中 内 部 组 ;中 区 出 现 的 溢出 问题 ， 当 然 这 些 手段 也 不 是 万 能 或 者 需要 单独 应 用 的 ， 你 可 
以 根据 情况 来 组 合 出 合适 的 方案 ， 解 决 问题 : 


` 调整 生产 与 消耗 的 比例 。 

: 提升 所 有 拓扑 的 缓冲 区 大 小 。 
: 提升 指定 拓扑 的 缓冲 区 大 小 。 
` 设置 spout 的 最 大 待定 数 。 


让 我 们 来 逐一 了 解 下 ， 首 先 从 第 一 个 开始 。 


8.5.1 调整 生产 与 江 耗 的 比例 


让 元 组 的 产生 速度 慢 一 点 ， 或 者 提高 消耗 的 速度 ， 是 最 佳 处 理 缓冲 区 溢出 的 方案 。 你 可 以 通过 调 低 生 成 器 的 并 行 性 参数 ， 或 
者 增加 消耗 器 的 并 行 性 参数 ， 来 获得 缓冲 区 的 处 理 平 衡 (当然 也 可 能 会 导致 新 的 问题 ) 。 除 了 调节 并 行 性 参数 ， 还 有 种 方式 是 检 


碍 你 部 署 在 消耗 bolt 上 的 代码 (在 execute 广 法 内 ) ， 看 看 是 否 能 让 其 效率 有 所 提升 。 


对 于 执行 器 相关 的 缓冲 区 问题 ， 可 能 有 很 多 原因 导致 调节 并 行 性 的 方案 无 效 。 数 据 沅 的 分 组 方式 ， 特 别 是 随机 分 组 模式 ， 可 
能 导致 一 部 分 任务 去 处 理 一 些 额外 的 数据 ， 从 而 导致 缓冲 区 内 的 处 理 格外 活跃 。 如 果 将 分 友 处 理 天 朵 ， 你 唯一 能 解决 内 人 存 问题 的 
方法 束 是 增加 大 量 的 消耗 器 来 处 理 数 据 分 友 问 题 。 


当 优 化 一 个 出 现 溢 出 情况 的 工作 传输 队列 时 ，“ 增 加 并 行 性 ”的 方式 意味 着 增加 更 多 的 工作 进程 ， 这 很 有 可 能 (希望 ) 降低 
执行 器 与 工作 结 点 (executor-to-worker) 之 间 的 比例 ， 从 而 减轻 工作 传输 队列 的 压力 。 然 而 ， 数 据 的 分 友 依 然 需 要 追溯 到 源 
头 ， 如 果 大 部 分 元 组 都 绑 定 在 同一 个 工作 进程 的 任务 上 ， 那 么 当 你 在 添加 新 的 工作 进程 时 ， 不 会 产生 任何 额外 的 效果 。 


所 以 ， 当 你 没有 均匀 分 配 元 组 时 ， 调 整 生产 与 消耗 的 比例 的 效果 并 不 会 很 好 ， 哪 怕 获 得 一 点 效果 ， 都 有 可 能 因为 新 入 一 个 元 
组 ， 而 对 整体 运行 状态 产生 改变 而 变化 失效 。 尽 管 调节 这 个 比例 依然 可 以 在 一 定 程 度 上 提供 优化 文 持 ， 但 如 果 你 不 是 严重 依赖 于 
随机 分 组 的 方式 ， 以 上 其 他 三 个 选项 更 可 能 会 提供 帮助 。 


8.5.2 ”提升 所 有 拓扑 的 缓冲 区 大 小 


对 于 这 种 方式 ， 我 只 想 说 : 纯粹 是 在 用 大 炮 打 蚊 子 ! 每 个 拓扑 都 需要 增加 缓冲 区 大 小 的 几率 其 实 很 低 ， 我 想 你 也 不 希望 去 尝 
试 在 集群 上 给 每 个 结 点 都 增加 缓冲 区 参数 ， 除 非 你 真 的 有 一 个 非常 让 人 信服 的 理由 。 你 可 以 通过 调整 storm yaml 中 的 一 些 参 
数 ， 来 修改 拓扑 中 的 默认 缓冲 区 大 小 : 


默认 全 部 执行 器 输入 队列 的 大 小 可 以 在 topology.executot.receive.buffet.size 中 修改 。 
默认 全 部 执行 器 输出 队列 的 大 小 可 以 在 topology.executotr.send.buffer.size 中 修改 。 
默认 一 个 工作 进程 的 输出 传输 队列 尺寸 可 以 在 topology.transfer.buffet.size 中 修改 。 


这 里 有 一 点 需要 额外 注意 ， 那 就 是 设置 的 队列 缓 站 区 大 小 参数 值 务必 是 2 的 指数 ， 例 如 2、4、8、16、32 等 ， 这 也 是 由 
LMAX Disruptor 强 制 规定 的 。 


如 果 你 不 希望 通过 改变 全 部 拓扑 的 组 ;中 区 大 小 值 来 实现 路 由 的 优化 目的 ， 而 是 希望 进行 粒度 更 细 的 调整 ， 那 么 可 以 试 试 为 独 
立 的 拓扑 分 别 设置 缓冲 区 大 小 值 。 


8.5.3 提升 指定 折 扑 的 缓冲 区 大 小 


每 一 个 独立 的 拓扑 都 可 以 对 集群 配置 中 的 默认 值 做 重 写 ， 配 置 成 为 针对 当前 拓扑 自己 分 友 队 列 的 属性 。 可 以 在 提交 拓扑 时 ， 
将 Config 类 中 的 值 传 到 stormsSubmitter 中 。 如 上 一 章 中 所 提 及 的 ， 我 们 可 以 将 这 段 代 码 加 入 到 RemoteTopologyRunner 类 
中 ， 如 代码 清单 8.1 所 示 。 


程序 清单 8-1 在 RemoteTopologyRunner.java 类 中 提高 缓冲 区 大 小 配置 


publc class RemoteTopologyRunner { 
public static void main(String[] args) { 


Config config = new Config(),; 

config.put (Config.TOPOLOGY EXECUTOR RECEIVE BUFFER SIZE, 
new Integer(16384)); 

config.put (Config.TOPOLOGY EXECUTOR SEND BUFFER SIZE, 
new Integer(16384)); 


config.put (Config.TOPOLOGY TRANSFER BUFFER SIZE, 
new Integer (32) ) ; 


StormSubmitter.submitTopology ("topology-name", 
config, 
topology).,; 


接着 天 是 最 后 一 种 方案 了 (也 是 可 能 大 家 最 熟悉 的 一 种 方案 ) : 设置 spout 的 最 大 待定 数 。 


8.5.4 ”spout 的 最 大 待定 数 

我 们 曾经 在 第 6 章 中 讨论 过 spout 的 最 大 待定 数 ， 如 果 你 回忆 一 下 ， 束 会 记得 spout 的 最 大 待定 数 参 数 可 以 人 允许 一 个 拓扑 中 同 
一 时 间 最 多 存在 多 少 个 spout。 但 这 个 参数 怎么 可 能 会 帮助 避免 缓冲 区 溢出 呢 ? 首先 ， 做 个 简单 的 数学 题 : 

一 个 spout 的 最 大 待定 数 为 512。 

. 最 小 队列 缓冲 区 大 小 为 1024。 

这 里 512<1024。 


假设 你 的 全 部 bolt 都 无 法 再 创建 新 的 元 组 时 ， 那 么 也 就 不 可 能 让 拓扑 中 的 缓冲 区 去 承载 更 多 的 元 组 。 所 以 从 这 个 数学 计算 方 
式 来 看 可 能 结果 会 更 复杂 ， 如 果 你 的 bolt 只 能 消耗 一 个 元 组 ， 但 是 会 上 友 射 出 大 量 的 元 组 ， 那 么 这 个 复杂 的 例子 瓯 是 下 面 这 个 情 
部: 


“ 一 个 spout 的 最 大 待定 数 为 512。 
` 最 小 队列 缓冲 区 大 小 为 1024。 


我 们 其 中 的 一 个 bolt 每 吸收 1 个 元 组 ， 便 会 发 射 1 到 4 个 元 组 ， 这 意味 着 512 个 元 组 进入 之 后 ，spout 将 会 在 指定 的 时 间 区 间 
内 ， 发 射 512 到 2048 个 元 组 到 拓扑 中 。 或 者 换 句 话说 ， 这 里 有 几率 出 现 缓冲 区 溢出 的 情况 。 当 缓冲 区 出 现 洪 出 之 后 ， 调 整 spout 


的 最 大 待定 值 ， 可 能 会 是 一 个 解决 问题 的 最 有 效 办 法 。 


了 解 了 这 四 种 解决 组 ;中 区 洪 出 的 方法 之 后 ， 我 们 接 下 来 丈 看 看 如 何 调整 组 ;中 区 的 大 小 ， 以 便 来 让 你 的 Storm 拓 扑 获 得 最 佳 的 


8.6 调整 缓冲 区 大 小 来 提升 性 能 


有 不 少 的 博客 都 提 到 ， 如 何 基 于 调整 storm 内 部 中 断 缓 冲 区 的 大 小 来 提高 Storm 的 性 能 指标 。 在 这 里 ， 我 们 不 打算 围绕 这 个 
方向 来 解决 性 能 调 优 的 问题 ， 但 首先 要 注意 的 是 : storm 有 很 多 内 部 组 件 的 配置 都 可 以 在 storm.yaml| 中 实现 ， 因 为 它 面向 代码 
层 是 公开 的 。 在 8.5 节 中 ， 我 们 曾经 提 到 过 这 样 一 段 ， 但 如 果 你 去 尝试 寻找 这 样 的 设置 时 ， 友 现 你 根本 不 知道 怎么 修改 ， 那 就 最 
好 什么 都 别 动 ! 先 研 究 下 ， 理 解 你 要 修改 的 目标 对 象 以 及 配置 的 内 容 变化 后 ， 会 对 周边 系统 带 来 什么 影响 ， 例 如 影响 吞吐 率 和 内 
存 消耗 等 。 所 以 仪 限 在 你 已 经 理解 ， 并 且 找 到 了 一 个 办 法 可 以 实时 监控 修改 后 的 结果 ， 并 且 能 有 验证 修改 效果 的 时 候 。 


最 后 ， 记 住 Storm 是 一 个 非常 复杂 的 系统 ， 每 个 额外 的 调整 都 会 依赖 于 上 一 步 的 基础 之 上 ， 所 以 你 可 能 需要 准备 两 套 不 同 的 
配置 方案 : 我 们 称 之 为 AB 配 置 法 。 这 两 个 方案 都 会 产生 不 重复 的 性 能 变化 ， 但 当 组 合 在 一 起 的 时 候 ， 很 有 可 能 反而 导致 退化 。 
如 果 按 照 先 A 后 B 的 顺序 来 执行 ， 也 有 几率 淹 罚 B 产 生 的 影响 效果 。 但 这 些 都 不 是 问题 ， 我 用 以 下 的 一 个 假设 的 场景 来 解释 我 想 表 


达 的 意思 : 
` 调整 A 可 以 提高 5% 的 吞吐 效率 。 
调整 B 可 以 提高 10% 的 吞吐 效率 。 
. 同时 调整 A 和 B 可 能 导致 吞吐 量 出 现 2% 的 下 降 。 


所 以 如 果 是 以 上 的 情况 ， 理 想 的 方案 应 该 是 采取 B 方 案 ， 而 不 是 A， 从 而 获得 最 优化 的 性 能 体现 。 所 以 务必 确保 分 别 进行 测 
试 和 验证 ,或 者 尝试 采用 苹 加 的 方式 ， 例 如 在 已 经 应 用 方案 A 的 配置 基础 上 ， 均 加 B 方 案 ， 残 像 是 一 种 在 Storm 配 置 上 执行 附加 
配置 。 


这 里 假设 你 计划 将 拓扑 的 性 能 调 优 进行 到 极致 ， 那 么 我 们 这 里 分 享 一 个 秘密 ， 即 使 我 们 很 少 这 么 做 。 我 们 会 伦 大 量 的 时 间 在 
一 个 指定 的 拓扑 上 进行 性 能 的 优化 ， 但 是 最 多 只 会 给 一 个 工作 日 ， 然 后 紧 接着 去 忙 其 他 工作 了 。 相 信 你 也 是 这 人 么 做 的 ， 因 为 这 是 
一 种 比较 合理 的 取舍 方案 。 我 们 认为 更 重要 的 是 ， 如 果 你 在 增加 Storm 的 使 用 率 ， 残 尽 可 能 地 先 尝 试 学 习 和 和 了解 它 的 内 部 原理 ， 
以 及 调 优 的 方式 ， 如 何 设 置 参 数 ， 还 有 认识 对 性 能 有 影响 的 地 万 。 学 习 这 部 分 知识 的 唯一 目的 就 是 体验 它 在 调 校 后 的 焕然 一 新 。 


有 关 Storm 的 内 核 部 分 还 没 结 束 ， 我 们 希望 你 至 少 了 解 了 Storm 内 部 缓冲 区 中 的 各 个 有 价值 信息 ， 什 么 情况 下 会 产生 溢出 以 
及 如 何 应 对 的 。 接 下 来 我 们 要 来 了 解 的 残 是 讲解 storm 最 重要 的 一 个 功能 : Storm 中 高 维度 的 抽象 框架 Trident。 


8.7 “小结 


在 本 章 中 ， 你 学 到 了 : 

“ 执行 器 不 仅仅 是 一 个 线程 ， 它 是 由 两 个 〈 主 /发 送 ) 线程 ， 以 及 两 个 终端 (输入 /输出 ) 队列 来 组 成 。 

` 在 同一 个 JVM 中 不 同 的 执行 器 之 间 发 送 元 组 的 速度 是 最 快 的 。 

: 工作 进程 有 它们 目 己 的 发 送 /传输 线程 、 能 实现 对 外 和 对 内 应 用 ， 可 以 在 JVM 之 间 进 行 元 组 的 发 送 操 作 。 
: 每 个 内 部 队列 (缓冲 区 ) 都 会 出 现 溢出 ， 从 而 导致 Storm 拓 扑 出 现 性 能 问题 。 


每 个 内 部 队列 (缓冲 区 ) 都 可 以 配置 ， 并 用 于 解决 潜在 的 各 种 溢出 问题 。 


第 9 重 Trident 


本 章 要 操 : 
` 什么 是 Trident， 为 什么 说 它 有 用 
Trident 以 批 处 理 的 方式 对 元 组 进行 处 理 
. 在 设计 上 Kafka 是 如 何 与 Trident 结 合 的 
. 部 署 一 个 Trident 拓 扑 
. 使 用 Storm 的 分 布 式 远程 过 程 调用 (Distributed Remote Procedure Call，DRPC) 功能 
借助 Storm UI 将 Storm 的 原生 组 件 映 射 至 Trident 工 作 模 式 
“Trident 架 构 下 拓扑 的 伸缩 性 


到 本 章 为 止 ， 我 们 已 经 对 Storm 的 全 狐 有 所 了 解 。 在 第 2 章 里 ， 我 们 学 习 了 Storm 的 抽象 原 语 : bolt、spout、Tuple 和 
Stream。 在 第 6 章 的 前 半 部 分 ， 我 们 深度 探讨 了 这 些 原 语 ， 其 中 包括 一 些 高 级 应 用 ， 例 如 如 何 保证 消息 被 处 理 、 流 数据 分 组 、 控 
制 并 发 度 等 。 第 7 章 介 绍 了 一 些 识别 资源 冲突 的 方法 。 同 时 ， 第 8 章 介 绍 了 Storm 抽 象 原 语 的 底层 实现 细节 。 完 整理 解 这 些 知识 对 
掌握 Storm 框 架 至 关 重 要 ，。 


这 一 章 我 们 将 学 习 Storm 的 另 一 大 应 用 组 件 Trident， 一 个 基于 Storm 基 本 原 语 更 高 一 级 的 抽象 系统 ， 并 讨论 如 何在 使 用 和 
理解 拓扑 时 ， 采 取 “What (是 什么 ) ”的 方式 ， 而 不 再 仅仅 是 “How (怎么 实现 ) ”。 我 们 将 用 本 书 最 后 一 个 案例 (网络 电台 
应 用 ) 来 讲解 Trident。 但 和 之 前 章节 中 先 通 过 案例 为 切入 点 来 学 习 概 念 的 方式 不 同 ， 这 草 里 我 们 采取 先 讲 概念 ， 再 看 示例 。 这 
是 因为 Trident 是 一 个 基于 Storm 基 础 抽象 层 的 更 高 一 级 抽象 ， 所 以 先 了 解 这 种 抽象 本 身 的 逻辑 ， 比 直接 用 案例 来 讲解 更 容易 理 
解 ， 同 时 ， 掌 握 了 这 些 抽象 逻辑 对 如 何 设计 这 款 应 用 的 拓扑 逻辑 结构 也 很 有 指导 意义 。 


本 草 首 先 会 介绍 什么 是 Trident 以 及 它 的 一 些 核心 功能 ， 进 而 讨论 Trident 是 如 何 把 数据 流 进 行 分 批 的 ， 这 也 是 Trident 对 比 
Storm 基础 功能 的 一 个 最 明显 区 别 ， 然 后 再 讨论 为 什么 Kafka 特 别 适 合作 为 Trident 拓 扑 逻 辑 的 数据 源 。 在 此 基础 上 ， 我 们 再 对 这 
个 互联 网 广播 应 用 进行 方案 设计 ， 以 及 相关 代码 实现 ， 其 中 包含 一 部 分 Storm 的 DRPC 功 能 。 一 旦 完成 了 部 署 ， 我 们 将 讨论 如 何 
对 Trident 的 拓扑 实施 扩展 ， 因 为 Trident 毕 竟 只 是 以 Storm 拓 扑 钦 辑 为 基础 的 抽象 ,实际 应 用 中 我 们 还 需要 做 大 量 的 工作 来 优化 


尼 的 运行 效率 。 


言 归 正 传 ， 首 先 我 们 介绍 什么 是 Trident， 以 及 为 什么 说 它 是 基于 Storm 基 础 原 语 的 高 级 抽象 。 


9.1 什么 是 Trident 


Trident 是 构建 在 Storm 基 本 原 语 之 上 的 一 个 抽象 模型 ， 它 帮助 拓扑 钦 辑 的 开 友 者 从 “命令 式 (declarative) ” 开 友 向 “ 申 


明了 式 (imperative) ”开发 转变 。 为 了 实现 这 个 目的 ，Trident 定 义 了 诸如 连接 (join) 、 聚 合 (aggregation) 、 分 组 
(grouping) 、 函 数 (function) 和 过 滤 (filter) 等 操作 ， 通 过 Storm 的 原 语 在 任何 数据 库 或 持久 化 存储 设备 上 实现 状态 性 和 
增 量 性 的 数据 处 理 。 如 果 你 了 解 过 类 似 Pig 或 者 Cascading 这 样 的 批 处 理工 具 ， 那 么 理解 Trident 的 处 理 模式 就 不 会 太 难 。 


将 storm 从 命令 陈 摘 述 计算 过 程 转换 为 申明 陈 摘 述 计算 过 程 是 什么 意思 呢 ” 要 回答 这 个 问题 ， 我 们 可 以 先 回忆 一 下 第 2 章 中 
提 到 的 GitHub 提 交 数 统计 案例 ， 再 对 比 一 下 它 的 Trident 拓 扑 版 本 。 首 先 ， 如 果 你 还 记得 ， 在 第 2 章 中 ， 统 计 GitHub 提 交 数 的 拓 
扑 洲 取 的 是 直接 读 取 提交 消息 的 数据 流 ， 每 个 消息 中 都 包 仿 email 信 息 ， 然 后 基于 此 来 实现 对 提交 数 的 统计 。 

在 第 2 章 中 ， 我 们 的 拓扑 采取 的 是 基于 email 为 关键 词 来 统计 GitHub 的 提交 数 。 这 其 实 就 是 一 种 数学 的 命令 式 流程 ， 代 码 清 
时 9.1 演 示 了 构建 拓扑 的 这 部 分 代码 。 


程序 清单 9-1 构建 一 个 统计 GitHub 提 交 数 的 Storm 拓 扑 


TopologyBuilder builder = new TopologyBuilder(),， 个 
builder.setSpout ("commit-feed-listener'", new CommitFeedListener()); 


builder.setBolt ("email-extractor", new EmailExtractor()),) 二 
.ShuffleGrouping ("commit-feed-listener").,， < 一 他) 


builder.setBolt ("email-counter", new EmailCounter()) <—{(4) 
.fieldsGrouping ("email-extractor", new Fields ("email")).,， 


先 看 看 这 个 拓扑 是 如 何 构建 的 ， 你 可 以 看 到 ，@ 我 们 为 拓扑 分 配 一 个 spout 用 于 监听 提交 消息 ，@ 定 义 我 们 的 第 一 个 bolt 从 
每 个 提交 消息 中 提取 email 信 息 ，@ 然 后 通知 Storm 元 组 是 如 何 从 spout 发 送 到 第 一 个 bolt 的 ，@ 接 着 定义 我 们 的 第 二 个 bolt 用 于 
统计 email 的 数量 ，@@ 最 后 通知 Storm 元 组 是 如 何在 这 两 个 bolt 之 间 进行 传输 的 。 


可 以 看 到 ， 这 是 一 个 数学 命令 式 的 流程 ， 用 于 指导 我 们 如 何 解 决 提交 数 统计 的 过 程 。 其 中 的 代码 很 容易 理解 ， 因 为 这 个 拓扑 
本 身 并 不 复杂 。 但 是 ， 当 直到 更 复杂 的 Storm 拓 扑 时 可 能 丈 不 是 这 样 ， 因 为 理解 上 层 的 业务 逻辑 会 非常 困难 。 


这 项 是 Trident 的 价值 所 在 ， 赁 信和 连接 、 群 组 、 聚 合 等 各 种 功能 ， 我 们 可 以 在 更 上 一 层 来 实现 业务 逻辑 ， 和 而 不 是 在 bolt 或 
spout 上 去 编辑 计算 过 程 ， 让 系统 目 己 来 决定 底层 功能 如 何 实 现 。 那 么 接 下 来 束 看 看 米 用 Trident 的 GitHub 提 交 数 统计 的 拓扑 结 
构 ， 如 代码 清单 9.2 所 示 ， 注 意 代 码 中 不 再 和 直接 命令 拓扑 要 怎么 实现 ， 而 只 是 告诉 拓扑 有 哪些 工作 要 做 。 


程序 清单 9-2 构建 一 个 基于 Trident 实 现 统计 GitHub 提 交 数 的 Storm 拓 站 


TridentTopology topology = new TridentTopology(); 


TridentState commits = 量 


topology.newStream("spoutl", spout) | (2 
.each (new Fields ("commit"), new Split(), new Fields ("email")) | 
.GroupBy (new Fields ("email")),) < 一 一 
.PersistentAggregate (new MemoryMapState .Factory () ， (3) 

new Count(), 
new Fields ("count"),) < 


.parallelismHint (6); (4) 


一 旦 你 了 解 了 Trident 的 原理 ， 那 么 接 下 来 就 很 好 理解 如 何 为 spout 和 bolt 添 加 业务 逻辑 了 。 即 使 目前 我 们 对 Trident 还 没有 
完整 的 认识 ， 但 是 可 以 看 到 ，Q@ 首 先 创建 了 一 个 来 自 spout 的 数据 流 ， 名 然后 针对 流 中 的 每 一 个 条 目 ， 拆 分 出 commit 字 段 ， 并 
保存 数量 到 email 字 段 的 条 目 ，@ 基 于 email 字 段 进行 分 组 ，@ 最 后 持久 化 email 的 统计 数 。 


如 果 我 们 已 经 理解 了 这 上段 代码 ， 相 比较 之 前 直接 调用 Storm 原 语 的 代码 ， 那 么 明显 会 更 轻松 地 理解 组 件 中 数据 的 处 理 流程 。 
这 种 表达 业务 的 方式 ， 更 接近 于 一 个 纯粹 的 “是 什么 ”设计 逻辑 ， 而 不 是 “和 后 么 实现 ”的 设计 驱动 。 


部 分 代码 涉及 Trident 的 一 些 抽象 实践 ， 可 以 帮助 你 快速 写 出 “是 什么 ”而 不 是 “怎么 实现 ”的 逻辑 代码 。 接 下 来 ， 我 们 就 
来 看 看 Trident 提 供 的 全 部 操作 方法 。 


9.1.1 Trident 中 不 同 的 操作 方法 


到 目前 为 止 ， 对 于 如 何以 “是 什么 ”而 不 是 “怎么 实现 ”的 方式 来 实现 代码 逻辑 的 思路 ， 还 是 比较 模糊 的 。 在 上 一 证 中 的 代 
码 里 ,我 们 让 一 个 Trident 的 spout 实 现 了 一 个 数据 流 的 友 射 ， 并 提交 给 一 系列 的 Trident 的 操作 答 (operation) 来 实现 传输 ， 


这 些 操作 符 最 终 组 成 了 一 个 Trident 拓 扑 框架 。 


这 听 起 来 和 基于 Storm 的 原 语 (spout 和 bolt) 来 构建 Storm 拓 扑 很 类 似 ， 只 是 我 们 将 Storm 的 spout 蔡 换 成 了 Trident 的 
spout， 将 storm 的 bolt 蔡 换 成 了 Trident 的 操作 符 。 但 这 样 的 认识 是 错误 的 ， 干 万 不 要 将 Trident 的 操作 符 直 接 映射 到 Storm 的 
原 语 逻辑 上 。 这 一 点 很 重要 ， 因 为 在 一 个 原生 的 storm 拓扑 中 ， 是 通过 直接 修改 bolt 中 的 代码 来 实现 业务 的 操作 逻辑 。 因 为 此 时 
你 的 操作 和 执行 单元 是 一 个 bolt， 你 可 以 在 其 内 部 拥有 极 高 的 自由 度 。 但 是 对 于 Trident， 你 没 法 获得 这 么 高 的 灵活 性 。 你 现在 
能 拥有 的 工具 是 一 系列 的 操作 答 ， 你 要 做 的 工作 是 将 业务 逻辑 拆 分 为 这 些 操作 符 可 实现 的 处 理 流程 ， 然 后 将 操作 符 在 实现 中 串 联 


Trident 提 供 了 大 量 不 同类 型 的 操作 符 来 实现 业务 逻辑 所 需要 的 功能 。 整 体 来 说 ， 可 以 归纳 为 以 下 几 种 类 型 
功能 (function) : 针对 一 个 输入 元 组 执行 指定 操作 ， 或 者 将 一 个 或 多 个 相关 元 组 发 射出 去 。 

-过滤 (flter) : 决定 保留 或 过 滤 掉 数据 流 中 的 输入 元 组 。 

" 拆 分 (split) : 基于 同一 个 数据 或 字段 ， 将 一 个 数据 流 拆 分 为 多 个 数据 流 。 

: 合并 (merge) : 仅 当 多 个 数据 流 拥有 共同 的 字段 (例如 名 称 或 者 同一 个 编号 ) 才 可 以 执行 合并 。 

“ 连接 (join) : 可 以 将 多 个 数据 流 ， 除 了 共用 的 字段 ， 还 能 基于 不 同 的 字段 进行 连接 〈 类 似 于 SQL 的 连接 ) 。 
分 组 (grouping) : 在 某 一 个 特定 的 分 区 〈 更 多 是 出 于 分 区 之 后 ) 基于 茶 个 特定 字段 进行 分 组 。 

聚合 (aggregation) : 为 聚合 的 元 组 集 执行 计算 。 

` 状态 更 新 (state updatef) : 持久 化 元 组 或 者 计算 结果 到 一 个 数据 库 。 

` 状态 查询 (state quetying) : 查询 一 个 数据 库 。 


. 重新 分 区 repartitioning) : 基于 特定 的 字段 (类 似 于 字段 分 组 ) 或 者 基于 随机 的 方式 (类 似 于 随机 分 组 ) ， 对 数据 流 的 
分 区 做 重新 排列 。 基 于 菜 些 特定 字段 的 重新 分 区 与 分 组 不 同 ， 因 为 重新 分 区 发 生 在 所 有 分 区 上 ， 而 分 组 发 生 在 单个 分 区 中 。 


借助 这 些 操作 符 将 你 的 问题 进行 重新 拆 分 了 时， 可 以 基于 更 高 一 层 的 应 用 层面 来 思考 ， 而 不 需要 降 至 原生 Storm 原 语 那 样 去 考 
虑 具体 的 执行 细节 。 这 也 使 得 基于 Trident 的 API 进 行业 务 逻 辑 的 编写 时 ， 更 像 是 在 使 用 一 种 特定 领域 的 语言 (Domain-Specific 
Language，DSL) 。 举 个 例子 ， 我 们 需要 实现 一 个 步 又， 用 于 将 计算 结果 保存 到 数据 中 ， 那 么 这 里 首先 要 调用 一 个 状态 更 新 操 
作 符 ， 而 至 于 这 个 操作 符 的 操作 对 象 是 Cassandra、Elasticsearch 还 是 Redis 都 不 重要 ， 因 为 你 的 关注 点 只 有 操作 。 事 实 上， 你 


也 可 以 指定 这 个 状态 更 新 将 数据 写 入 Redis， 并 且 在 不 同 的 Trident 拓 扑 之 间 进 行 共享 。 


希望 通过 这 样 的 摘 述 ， 你 能 对 Trident 的 抽 缚 类 型 有 一 个 大 致 的 了 解 。 现 在 不 用 担心 这 些 操作 得 的 具体 实现 ， 我 们 将 在 稍 后 
的 互联 网 无 线 广播 案例 中 ， 通 过 设计 和 部 署 的 演示 ， 帮 助 你 理解 具体 细节 。 但 在 此 之 前 ,我 们 还 需要 先 讨论 另外 一 个 话题 ， 那 束 
是 Trident 是 如 何 处 理 数据 流 的 。 因 为 它 的 处 理 方 式 和 原生 的 Storm 拓 扑 处 理 数据 流 的 方式 完全 不 同 ， 这 也 将 影响 我 们 互联 网 无 
线 广播 的 设计 思路 。 


9.1.2 将 Trident 数 据 流 看 作 批 数据 


Trident 拓 扑 相 比 原生 Storm 拓 扑 的 一 个 本 质 区 别 就 是 : 在 Trident 拓 扑 中 ， 数 据 流 是 以 一 批 元 组 的 形式 进行 处 理 ; 而 在 原生 
Storm 拓 扑 中 ， 数 据 流 是 作为 一 系列 独立 的 元 组 进行 处 理 。 这 也 殊 意 味 着 每 个 Trident 操 作 符 处 理 的 是 一 批 元 组 ， 而 原生 Storm 
的 bolt 操 作 和 处 理 的 是 一 个 独立 的 元 组 。 两 者 之 间 的 区 别 如 图 9.1 所 示 。 


厚生 Storm 拓扑 中 的 数据 流 


[mame= "Value ”| 一 一 


和 处 理 一 个 元 组 


"value" 
= "Value" 


~ x | 1e" | Operation 


同一 时 间 会 发 射 
和 处 理 一 批 元 组 


图 9.1 Trident 拓扑 以 一 批 元 组 形式 处 理 数 据 流 ， 而 原生 Storm 拓 扑 针对 数据 流 中 独立 的 元 组 进行 单独 处 理 


因为 Trident 是 以 批量 的 万 式 来 处 理 数据 流 ， 所 以 它 其 实 属 于 第 1 草 中 提 到 的 微型 批 处 理工 具 一 类 。 如 果 你 回忆 第 1 章 中 对 该 
类 工具 的 摘 述 ， 那 瓯 是 微型 批 处 理 是 批 处 理 和 流 处 理 的 一 种 混合 式 处 理 方式 。 


这 种 本 质 上 的 区 别 ， 也 残 是 Trident 如 何以 批量 的 方式 对 流 数 据 执行 处 理 ， 襄 明了 Trident 本 身 不 会 再 包含 bolt， 而 只 有 操作 
符 。 我 们 需要 调整 思维 的 方式 ， 以 一 系列 操作 符 的 形式 来 对 待 数 据 流 中 的 具体 操作 人 处理。 在 9.1.1 节 中 提 到 的 操作 竺 ， 既 可 以 修 
改 数 据 流 中 的 元 组 ， 也 可 以 修改 数据 流 本 身 。 为 了 更 进一步 了 解 Trident， 你 必须 先 了 解数 据 流 ， 以 及 Trident 对 数据 流 的 处 理 方 
式 。 


接 下 来 ， 我 们 束 来 讨论 一 个 非常 适合 与 Trident 一 起 使 用 的 消息 队列 实现 ， 它 与 Trident 的 需求 案 密 匹配 ， 同 时 结合 Trident 
拓扑 也 非常 适合 与 storm 一 起 使 用 。 


9.2 Kafka 及 其 在 Trident 中 的 角色 


当 谈 论 到 作为 输入 源 形式 的 消息 队列 时 ，storm 与 Apache Kafka 保 持 着 一 种 十 分 独特 的 关系 。 这 并 不 是 说 不 能 使 用 其 他 消 
息 队 列 技术 ， 我 们 在 本 书 中 都 非常 明确 地 指出 ，Storm 是 可 以 和 许多 不 同 的 技术 搭配 使 用 的 ， 例 如 RabbitMQ 和 Kestrel。 但 为 什 
么 要 将 Kafka 与 其 他 消息 代理 实现 分 开 讨 论 呢 ? 这 归结 于 Kafka 的 核心 架构 设计 。 为 了 帮助 你 理解 为 什么 Kafka 和 Trident 如 此 相 
互 匹 配 ， 我 们 先 简单 了 解 一 下 Kafka 的 设计 ， 然 后 再 看 看 其 设计 为 什么 如 此 匹配 Trident 的 运用 。 


9.2.1 解构 Kafka 的 设计 


这 一 节 中 ， 我 们 将 简单 讨论 一 下 Kafka 的 设计 ， 仪 供 支 持 你 理解 它 与 Storm 和 Trident 之 间 的 协作 关系 。 


我 们 会 在 这 一 章 中 引用 一 些 标准 的 Kafka 术 语 ， 其 中 两 个 最 常 出 现 的 术语 是 
. topic (主题 ) ， 它 是 一 个 特定 类 目的 消息 源 。 
:bfokefr (代理 ) ， 它 通常 是 Kafka 集 群 中 众多 运行 的 服务 器 / 结 点 之 一 。 

Kafka 的 官网 上 用 了 两 种 方式 来 介绍 自己 ， 你 可 以 从 摘 述 中 感受 到 为 什么 它 的 设计 可 以 与 Trident 完 美 配合 : 
` 它 是 一 个 发 布 -订阅 (publish-subscribe) 的 消息 代理 ， 可 以 理解 为 是 一 种 分 布 式 的 提交 日 志 。 


` 它 是 一 个 分 布 式 (distributed) 、 可 分 区 (partitioned) 、 可 复制 (replicated) 具备 提交 日 志 服 务 的 功能 消息 系统 ， 但 设计 


更 加 独特 。 
接 下 来 我 们 惑 分 别 讨论 这 两 点 ， 因 为 理解 这 些 设计 ， 可 以 有 助 于 你 了 解 Kafka 如 何 与 Trident 保 证 一 致 性 。 
针对 一 个 Kafka topic 的 分 布 式 分 区 


当 消 息 发 起 方 在 写 入 Kafka topic 时 ， 它 将 在 该 topic 的 一 个 指定 分 区 中 写 入 消息 。 由 于 分 区 是 有 序 分 布 且 不 可 变动 的 消息 队 
列 ， 所 以 消息 将 连续 存储 至 分 区 中 。 一 个 topic 可 以 有 多 个 分 区 ， 而 这 些 分 区 又 可 以 分 布 在 多 个 Kafka broker 上 。 一 个 消息 的 消 
费 者 能 连接 所 有 的 topic， 因 此 它 能 从 不 同 分 区 上 读 取 消息 。 如 图 9.2 所 示 ， 为 一 个 broker 如 何 分 布 在 多 个 分 区 上 的 结构 图 。 
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broker 结 点 2 


分 区 都 是 有 顺序 的 ， 
分 区 2 上 连续 的 消息 队列 将 依次 


一 个 完整 的 topic 包含 
多 个 分 区 ， 每 个 都 运行 


在 一 个 单独 的 broker 上 仔 入 分 区 中 
broker 结 点 3 
分 区 3 
图 9.2 ”一 个 Kafkatopic 以 分 区 的 形式 分 布 在 多 个 Kafka broker 上 
通过 将 topic 进 行 分 区 ，Kafka 可 以 具备 将 单 topic 在 单 broker ( 结 点 ) 上 扩展 读 和 写 的 能 力 ， 每 个 分 区 都 是 可 复制 的 ， 这 将 


意味 着 具备 更 加 弹性 的 应 用 灵活 度 。 如 果 你 在 一 个 分 区 中 有 n 个 副本 ， 那 么 在 损失 n-1 个 副本 之 前 ， 你 都 不 会 出 现 数 据 丢失 的 情 
况 。 


拥有 多 个 分 区 并 且 能 对 分 区 做 扩展 性 操作 ， 这 两 个 特性 对 于 Trident 来 说 至 关 重 要 。 在 本 章 稍 后 部 分 里 ， 你 可 以 看 到 Trident 
是 如 何 利用 这 些 特性 来 实现 从 数据 流 中 读 取 数据 ， 并 构建 拓扑 结构 的 。 但 在 此 之 前 ， 我 们 还 需要 了 解 一 下 Kafka 是 如 何 实现 消息 
存储 的 。 


基于 提交 日 志 来 建 模 存储 


Kafka 用 于 topic 中 消息 的 存储 异型 在 性 能 和 功能 特征 方面 产生 许多 优点 ， 我 们 从 前 面 的 部 分 知道 ， 分 区 在 文件 系统 上 是 有 
序 且 不 会 变动 的 消息 序列 。 这 表示 提交 日 志 。 分 配给 分 区 中 的 每 个 消息 都 会 分 配 一 个 称 为 偏 移 量 的 顺序 标识 符 ， 它 标记 每 个 消息 
存储 在 提交 日 志 中 的 哪个 位 置 。 


Kafka 还 维护 着 分 区 内 的 消息 顺序 ， 使 得 当 某 个 消费 者 从 分 区 中 读 取 数 据 时 ， 可 以 确保 为 其 提供 强 排序 性 。 一 个 消息 的 消费 
者 在 一 个 指定 分 区 中 读 取 信息 后 ， 将 维护 其 当前 位 置 的 引用 ， 我 们 称 之 为 消费 者 提交 偏 移 量 全 提交 日 志 。 多 个 分 区 的 偏 移 量 结构 
如 图 9.3 所 示 。 
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图 9.3 一 个 分 区 包含 了 不 可 变动 且 有 序 的 消息 队列 ， 当 消费 者 读 取 消息 时 ， 需 要 维护 读 取 位 置 的 偏 移 量 


消费 者 在 读 取 数据 时 产生 的 消息 偏 移 量 不 会 被 Kafka 抛 弃 掉 ， 它 们 会 基于 一 个 配置 的 时 效 期 (例如 24 小 时 或 7 天 ) 保存 在 一 
日 志文 件 里 。 一 旦 超出 时 间 段 ，Kafka 将 压缩 日 志文 件 并 且 清 理 较 早 的 记录 。 


你 现在 应 该 大 致 了 解 Kafka 的 设计 逻辑 了 吧 ，topic 是 用 于 为 特定 的 类 目 提 供 消 息 源 ， 这 个 topic 随 后 将 被 划分 为 多 个 分 区 ， 
成 为 不 可 变动 且 有 序 的 消息 序列 ， 而 这 些 分 区 也 将 被 分 配 到 Kafka 和 集群 的 不 同 broker 结 点 上 。 接 下 来 ,我们 将 介绍 这 种 设计 在 功 
能 和 性 能 上 市 来 的 优势 。 

Kafka 设 计 在 功能 和 性 能 上 的 优势 

该 设计 所 帘 来 的 功能 优势 大 致 如 下 : 

由 于 消息 刻 被 丢弃 挤 ， 消 费 者 可 以 决定 什么 时 候 将 偏 移 量 提交 至 提交 日 志 中 ， 也 可 以 决定 不 提交 ， 所 以 从 Ka 人 ka 中 
回放 消息 是 一 件 很 容易 的 事情 
同样， 如果 你 的 消费 者 长 时 间 跟 不 上 处 理 进度 ， 由 于 某 些 消费 处 理 具备 时 效 性 ， 这 些 队 列 消 息 也 将 不 存在 任何 意义 了 ， 标 
识 靠 后 的 新 近 偏 移 量 就 可 以 直接 跳 过 过 期 的 消息 ， 置 入 到 新 的 位 置 。 
. 如果 你 的 消费 者 采取 批量 的 方式 来 处 理 消 息 ， 并 且 要 求全 部 同时 完成 批 处 理 ， 或 者 不 同时 完成 ， 那 么 可 以 通过 一 次 性 从 分 
区 中 提取 一 批 消息 序列 偏 移 量 来 实现 


: 如 果 你 有 不 同 的 应 用 并 且 都 同时 订阅 了 同一 个 topic 中 的 相同 消息 ， 消 费 者 可 以 轻松 地 从 分 区 中 的 该 topic 上 同一 个 topic 集 中 
获取 信息 。 由 于 一 个 消费 者 完成 消息 查看 后 ， 系 统 不 会 执行 销毁 ， 消 费 者 只 是 将 偏 移 量 保存 在 提交 日 志 中 。 


. 另 一 方面 ， 如 果 你 想 确保 只 有 一 个 消费 者 在 处 理 每 个 消息 ， 你 可 以 将 单个 消费 者 的 实例 ， 固 定 在 一 个 topic 的 特定 分 区 上 。 
性 能 所 市 来 的 功能 优势 大 致 如 下 : 
.无论 你 的 消息 总 线 瓶 颈 是 由 消息 生产 者 还 是 消息 消费 者 导致 的 ， 都 可 以 通过 增加 分 区 数量 的 方式 来 解决 性 能 瓶颈 。 


: 由 于 提交 日 志 的 有 序 性 和 不 可 变更 的 特性 ， 以 及 消费 者 偏 移 量 高 级 模式 下 的 有 序 特 性 〈 大 部 分 情况 下 ) ， 可 以 为 我 们 带 来 
大 量 的 性 能 提升 : 


` 磁盘 读 写 的 成 本 非常 昂 足 ， 但 大 部 分 情况 下 是 由 于 程序 的 访问 机 制 是 随机 读 取 的 。 而 由 于 Kafka 是 从 下 至 上 设计 的 ， 并 借 
助 了 文件 系统 中 的 序列 化 访问 ， 那 么 实现 的 操作 符 将 借助 预 读 缓存 和 后 写 缓存 的 方式 来 提高 读 取 的 效率 ， 为 性 能 优化 提供 可 大 幅 


改进 的 空间 。 


Kafka 很 好 地 利用 了 操作 系统 的 磁盘 缓存 ， 这 使 得 Ka 代 4 可 以 回避 维护 过 程 中 的 高 速 缓存 ， 并 且 不 会 受到 垃圾 回收 的 压力 影 
P 向 。 


我 们 现在 已 经 了 解 了 Kafka 的 整体 设计 思路 ， 以 及 它 所 市 来 的 功能 和 性 能 上 的 优势 。 接 下 来 ， 束 可 以 来 认识 Kafka 和 和 Trident 
的 匹配 度 了 ， 以 及 它们 两 者 是 如 何 构建 一 个 最 佳 的 storm 实践 方案 的 。 


9.2.2 Kafka 与 Trident 的 匹配 度 
你 现在 可 以 想象 Kafka 的 设计 可 以 为 Storm 带 来 多 大 的 支持 ， 不 论 是 功能 还 是 性 能 上 。 其 中 ，Kafka 相 比 其 他 产品 ， 在 性 能 
的 


易 理 解 为 什么 它 是 实施 消息 传输 的 最 佳 选项 了 : 


“ 由 于 Trident 在 流 数 据 中 执行 微型 批 处 理 操作 ， 所 以 它 需要 依赖 于 自动 处 理 一 批 元 组 数据 的 能 力 ， 而 Kafka 刚 好 支持 这 样 的 
功能 ， 优 化 了 Trident 的 消费 者 偏 移 量 。 


“ 为 了 保证 消息 不 被 丢 齐 ， 就 需要 不 断 更 新 偏 移 量 ， 这 样 才能 保证 消息 可 以 在 任何 时 间 点 得 以 重 现 (当然 时 间 最 长 不 超过 
Kafka 的 日 志 限 定时 效 ) 。 这 样 的 特性 使 得 Kafka 成 为 一 个 稳定 可 靠 的 数据 源 ， 基 于 这 样 的 数据 源 才能 构建 稳定 可 靠 的 spout， 不 论 


是 基于 Storm 还 是 Trident。 
` 在 后 面 我 们 会 提 到 ，Trident 可 以 基于 Kafka 的 分 区 构建 Trident 拓 扑 中 的 并 行 性 属性 主键 。 


基于 Kafsa 部 署 的 Storm spout 可 以 在 Zookeeper 中 维护 不 同 分 区 里 的 消费 者 偏 移 量 ， 此 当 你 的 Storm 或 者 Trident 拓 扑 需 要 重 
启 或 者 重新 部 署 时 ， 你 可 以 直接 恢复 至 最 近 一 次 的 状态 。 


让 我 们 稍微 暂停 一 下 ， 回 顾 一 下 刚才 到 现在 所 涉及 的 内 容 ， 你 应 该 还 记得 以 下 几 操 : 


.Trident 提供 了 基于 Storm 的 抽象 类 原 语 ， 允 许 你 的 代码 更 接近 于 一 个 “是 什么 ”的 设计 逻辑 ， 而 不 是 “怎么 实现 ”的 设计 
驱动 。 


Trident 对 数据 流 的 处 理 是 基于 一 个 批量 化 的 元 组 操作 ， 作 为 一 系列 元 组 来 处 理 ， 而 不 是 一 次 一 个 元 组 。 


` Trident 对 数据 流 的 处 理 采 取 的 是 操作 符 ， 而 不 是 调用 bolt， 这 些 操 作 符 包括 了 遂 数 、 过 滤 、 拆 分、 合并 、 连 接 、 分 组 、 聚 
合 、 状 态 更 新 、 状 态 查 询 和 重新 分 区 。 


. Kafka 是 Trident 拓 扑 结构 的 理想 队列 实现 组 件 。 


接 下 来 ， 我 们 可 以 正式 开始 了 解 Trident 的 原理 以 及 针对 一 个 案例 的 设计 和 实施 了 。 在 开始 之 前 ， 确 保 你 已 经 理解 了 Trident 
的 操作 符 以 及 它 对 流 数 据 的 处 理 方式 ， 因 为 这 两 点 特性 决定 了 我 们 的 设计 方案 。 


9.3 ”问题 定义 : 网 络 电台 应 用 


假设 我 们 要 创立 一 个 互联 网 广播 公司 ， 主 要 的 产品 是 构建 一 个 基于 互联 网 的 音乐 媒体 分 享 平 台 ， 并 为 在 平台 上 授权 播放 作品 
的 音乐 制作 人 和 艺术 家 提供 公平 合理 的 版 税收 入 。 基 于 此 ， 我 们 希望 跟 路 并 统计 每 首 歌 曲 的 播放 次 数 ， 这 些 数据 将 用 于 版 权 费 用 
的 查询 和 结算 。 另 外 ， 这 个 统计 结果 除了 为 艺术 家 提供 公平 合理 的 报酬 ， 还 希望 可 以 基于 用 户 对 曲目 的 播放 和 搜索 行为 ， 通 过 一 
定 算法 为 用 尸 主 动 推送 他 们 可 能 喜欢 的 作品 ， 提 高 用 户 的 体验 。 


我 们 的 用 户 可 以 使 用 各 种 设备 来 收听 音乐 广播 服务 ， 这 些 设 备 上 的 程序 将 担负 收集 “播放 日 志 ” 的 工作 ， 并 将 这 些 采 集 数 据 
以 流 的 方式 ， 接 入 我 们 的 Trident 拓 扑 的 spout。 


既然 已 经 定义 问题 ， 首 先 我 们 看 看 数据 的 起 点 和 终点 ， 如 同 我 们 上 一 章 中 所 提 到 的 那样 。 


9.3.1 定义 数据 所 


针对 我 们 的 应 用 场景 ， 每 个 播放 日 志 都 会 包含 艺术 家 名 称 、 吹 曲名 称 和 歌曲 的 类 型 标签 列表 信息 ， 并 以 JSON 格 式 的 流 数 据 
形式 传输 到 我 们 的 拓扑 中 ， 单 个 播放 日 志 的 示例 如 代码 清单 9.3 所 示 。 


程序 清单 9-3” 流 数据 中 一 个 播放 日 志 条 目的 范例 


人 


"vartist": "The Clash", 
"title": "Clampdown", 
"tags": ["PuNnk","1979"] 


| 


播放 日 志 的 JSON 文 件 将 作为 我 们 数据 的 起 点 ， 我 们 需要 对 三 种 不 同类 型 的 统计 数据 做 持久 化 操作 : 艺术 家 名 称 、 歌 曲名 称 
和 歌曲 的 类 型 标 和 党。Trident 提 供 了 一 个 Tridentstate 类 ， 但 我 们 稍 后 再 进一步 解释 这 个 类 ， 现 在 更 重要 的 是 ， 先 了 解 我 们 的 急 
始 数 据 以 及 我 们 想 要 达到 的 结果 数据 。 


基于 数据 的 定义 ， 接 下 来 要 明确 的 步 又 是 如 何 从 播放 日 志 的 数据 源 到 保存 数据 到 TridentState 实 例 之 后 ， 提 取 名 条 目的 统计 


9.3.2 ”将 问题 进行 步骤 划分 


首先 我 们 已 经 确定 了 以 播放 日 志 作 为 数据 源 开始 ， 以 艺术 家 、 歌 曲名 和 标签 的 统计 为 结束 ， 那 么 在 思考 概念 万 案 时 ， 束 需要 
先 理 清楚 在 两 端 之 间 将 要 友 生 哪些 步骤 。 


还 记得 之 前 我 们 在 讨论 用 例 设 计时 ， 如 何 实现 Trident 操 作答 的 吗 ? 当 我 们 在 观察 步骤 划分 时 ， 束 可 以 看 看 哪些 操作 答对 这 
个 场景 是 有 意义 的 ， 忆 结 出 来 以 下 几 扣 : 


.需要 一 个 spout 用 于 友 射 Trident 数 据 流 ， 这 里 要 记 住 ,一 个 Trident 流 包含 了 多 批 元 组 ， 而 不是 独立 的 元 组 个 体 。 
2. 需 要 一 个 功能 对 输入 的 播放 日 志 做 反 序列 化 (分割 ) 操作 ， 按 照 艺 林家 、 歌 名 和 标签 做 分 类 。 

3. 需 要 一 个 分 离 的 功能 ， 分 别 实现 对 艺术 家 、 歌 名 和 标签 做 统计 计数 。 

.需要 一 个 Trident 的 状态 功能 ， 分 别 实现 对 艺术 家 、 歌 名 和 标签 做 持久 化 操作 。 


如 图 9.4 所 示 ， 这 些 步骤 的 一 个 济 程 演示 更 清晰 地 解释 了 设计 的 目标 。 接 下 来 ， 我 们 融 要 基于 这 个 思路 ， 利 用 Trident 的 操作 
符 ， 来 实现 对 这 个 包含 播放 日 志 的 批量 元 组 处 理 。 


9.4 ”基于 一 个 Trident 拓 扑 来 实现 网 络 电台 的 设计 


在 这 里 ， 我 们 需要 基于 一 个 Trident 拓 扑 来 实现 图 9.4 的 方案 。 你 会 注意 到 ， 实 现 功能 的 代码 大 量 都 包含 在 拓扑 的 构建 类 
(TopologyBuilder) 中 。 即 使 我 们 为 功能 实现 增加 了 一 些 代码 ， 但 大 部 分 都 以 操作 符 的 方式 表示 ， 以 一 个 “是 什么 ”的 设计 逻 
辑 ， 而 不 是 “怎么 实现 ”的 方式 在 驱动 。 


{ 
"artist": "The Clash", 从 数据 流 
tle en Lom emi 中 读 取 播放 
"tags": ["Punk","1979"] a 

) 和 


SCLaSR 
nen 
"tags" 。 We a rl 


反 序 列 化 


播放 日 志 


| [lartist="The Clash"| | [ETtles=s"Clamaownr"| | [二 已 本 三 "IE | 


更 新 歌曲 
名 称 的 统计 
计数 


更 新 标签 
的 统计 计数 


更 新 艺术 家 
的 统计 计数 


| [artist-count=103] | [title-count=34] 


| [Eacdg=eoOUNnt=23L31 


持久 化 歌 
曲名 称 的 统 
计 计数 


持久 化 标 
签 的 统计 计 
数 


持久 化 艺 
术 家 的 统计 
计数 


图 9.4 实现 网 络 电台 的 Trident 拓 四 


让 我 们 先 从 拓扑 的 spout 部 分 开始 ， 玛 运 的 是 ，Storm 配 置 了 一 个 内 置 的 spout 实 现 ， 可 以 直接 调用 ， 非 常 节 省 时 间 。 


9.4.1 实现 一 个 Trident 的 Kafka spout 


我 们 使 用 的 是 storm 官方 配备 的 Trident 内 置 Kafka spout， 拓 扑 中 使 用 该 Trident Kafka spout 的 地 方 如 图 9.5 所 示 。 


th 从 数据 流 


"title":"Clampdown", 中 庶 取 播放 
"Ere me en 
din 


[play-log={"artist": "The Clash", 


"Et lev "oem 
Eagevs [TPOmk ev Io79on|}] 


图 9.5 ” Trident 的 Kafka spout 将 用 于 处 理 输入 的 播放 日 志 
尽管 本 章 不 讨论 spout 实 现 之 外 的 细节 ， 我 们 将 在 代码 清单 9.4 中 展示 在 TopologyBuilder 类 中 实现 连接 该 spout 的 代码 。 


程序 清单 9-4 ”在 TopologyBuilder 中 实现 TransactionalTridentKafkaSpout 


实例 1 
public TopologyBuilder f 实例 化 
必 public StormTopology buil 
将 BL] J build() Trident 
mrident TridentTopology topology = new TridentTopology(); 拓扑 
的 拓扑 转 topology.newStream("play-spout", buildSpout()).,; 创建 一 个 新 的 数据 
换 成 一 个 return topology.build() ; 流 ， 命 名 为 play- 
storm 的 | spout， 并 且 传 参 给 
估 实 伤 
拓扑 private TransactionalTridentKafkaSpout buildspout() { Kafka 的 spout 实例 


BrokerHosts zk = new ZkHosts ("localhost")., 
TridentKafkaConfig spoutConf = new TridentKafkaConfig(zk, "play-1og"),; 


spoutConf.scheme = new SchemeAsMultiScheme (new StringScheme()); 
return new TransactionalTridentKafkaSpout (spoutConf).; 
} ) 使 用 事务 性 的 Trident 


spout ， 提 供 稳定 性 
分 别 指 定 ZkHosts 


定义 Stringsch 来 反 序列 
和 Kafka 的 topic 名 下 义 StringScheme 来 反 序列 化 


Kafka 的 消息 至 一 个 字符 囊 


ZkHosts 用 于 配置 连接 Kafka 的 Zookeeper， 这 个 spout 
用 于 通过 查询 的 方式 动态 确定 Kafka 的 topic 分 区 信息 


现在 我 们 已 经 实现 了 第 一 个 spout， 用 于 上 友 射 批 次 播放 日 志 数 据 ， 下 一 步 要 实现 的 是 第 一 个 操作 待 ， 用 于 将 JSON 格 了 式 的 批 
量 元 组 拆 分 为 分 别 包含 艺 术 家 、 歌 曲名 和 标签 的 JSON 格 式 元 组 。 


9.4.2 ”对 播放 日 志 做 反 序列 化 操作 ， 并 分 别 8@! 建 每 个 字段 的 独立 数 据 流 


接 下 来 要 实现 的 是 设计 部 分 ， 将 我 们 关注 的 统计 数据 一 一 艺术 家 、 歌 曲名 和 标签 ,分 别 从 输入 的 play-log 元 组 中 提取 出 来 ， 
然后 以 批量 元 组 的 形式 友 射 出 去 。 如 图 9.6 所 示 ， 为 输入 的 批量 元 组 、 操 作 符 和 输出 的 批量 元 组 ， 其 中 每 个 字段 的 数据 流 都 将 分 


别 友 射出 去 。 
[play-log={"artist":"The Clash", 
工 二 在 下 全 CRow 
批量 地 输入 元 组 ， a dh 
每 个 JSON 都 有 个 
play-log 字段 


反 序 列 播 
放 日 志 


| lIartist="The Clash™l | [title="Clampdown"] [| 


根据 我 们 的 统计 需求 将 字段 分 离 得 到 的 批量 
元 组 ， 根 据 字 段 分 发 到 不 同 的 数据 流 中 


图 9.6 ”将 JSON 格 式 的 艺术 家 、 歌 曲名 和 标签 反 序列 化 至 Trident 元 组 的 操作 


从 图 中 ， 我 们 可 以 看 到 这 里 有 两 个 动作 : 第 一 个 动作 将 整体 的 JSON 文 件 基于 艺术 家 、 歌 曲名 和 标签 转换 成 分 离 的 JSON 文 
件 ; 第 二 个 动作 分 别 为 这 些 字段 创建 一 个 数据 流 。 那 么 对 于 第 一 个 动作 ， 我 们 需要 关注 其 中 的 each 操 作 符 。 


Trident 在 每 一 个 元 组 上 都 应 用 了 一 个 each 的 操作 答 ， 一 次 一 个 。 其 中 ，each 操 作 符 可 以 以 立 数 或 者 过 滤器 的 形式 调用 。 在 
我 们 的 场景 中 ，each 销 数 看 上 去 应 该 是 更 合适 的 选择 ， 因 为 我 们 在 基于 艺术 家 、 歌 曲名 和 标签 转换 JSON 文 件 至 Trident 元 组 
时 ， 如 果 我 们 需要 针对 某 一 个 字段 的 数据 执行 过 滤 操 作 ， 那 么 这 里 束 可 以 搭配 一 个 过 滤器 来 操作 。 


实现 一 个 each 沙 数 


一 个 函数 需要 有 一 个 输入 的 字段 ， 然 后 不 友 射 或 者 上 友 射 更 多 的 元 组 数据 。 如 果 它 不 皮 射 任何 数据 ， 那 么 说 明 原 始 数据 铸 过 滤 
挥 了 。 当 我 们 在 使 用 each 冰 数 时 ， 输 出 元 组 的 字段 将 被 附加 在 输入 元 组 之 上 ， 实 现 拓扑 上 该 each 子 数 的 代码 如 代码 清单 9.? 所 


小 \。 


程序 清单 9-5 TopologyBuilder.java 代 码 段 ， 用 于 实现 each 销 数 ， 以 便 能 对 播放 日 志 做 反 序 列 化 操作 


从 元 组 中 提取 需要 发 送 给 each 函数 的 
字段 ， 在 这 里 ， 我 们 将 全 部 字段 都 发 送 


后 外 3 下 ] Build “es , 
public TopologyBuilder { 到 流 数据 中 (play-1log 是 唯一 的 字段 ) 


public StormTopology build() { 


each TridentTopology topology = new TridentTopology (); 
操作 符 被 
应 用 到 从 stream playStream = topology.newstream("play-spout", buildspout () ) 
ee .each ( 
es 中 new Fields ("play-l1og"), 

发 射出 去 new LogDeserializer(), LOgD — 
a gDese 
的 数据 流 new Fields ("artist", "title", "tags") li 就 是 
i, ) rializer 了 尿 大 

3 将 运行 在 数据 流 
return topology.build(),; 中 全 部 元 组 上 的 
} each 函数 
品 作 狂 之 所 不 将 得 到 一 个 . 、 
局 和 拧 作 位 之 捕 ， 从 - 全 为 从 LogDese- 
} 新 处 理 后 的 数据 流 ， 可 用 于 下 一 个 操作 符 Tr 


元 组 的 字段 命名 


新 的 数据 流 包 含 的 字段 有 play-log、artist、title 和 tags， 其 中 each 函 数 LogDeserializer 是 基于 BaseFunction 的 抽象 类 实 
现 ， 用 于 完成 对 JSON 字 符 串 格式 的 输入 元 组 执行 反 序列 化 到 所 需 的 输出 中 。 实 现 一 个 BaseFunction 的 方法 和 实现 一 个 原生 
Storm 的 BaseBasicbolt 类 似 ， 如 代码 清单 9.6 所 示 。 


程序 清单 9-6 LogDeserializer.java 


一 个 元 组 和 收集 器 (collector) 中 的 


public class LogDeserializer extends BaseFunction { execute 方法 和 BaseBasicbolt 很 类 
private transient Gson gson; 似 ， 但 在 这 里 它们 都 是 TridentTuple 
在 这 个 函数 中 @Override 和 Te domo Tentas, 而 不 是 元 组 和 
寻找 输入 的 字段 ， public void execute (TridentTuple tuple, <—BasLoOutputcCoLllector 
注意 这 里 仅 能 访 人 collector) { 
> String logLine = tuple.getString(0) ; 


借助 Google 的 


属 一 个 空 乌 
问 拓 扑 构 建 器 中 LogEntry logEntry = gson.fromJson(logLine, LogEntry.class),; GSON 将 nh 
each 方法 下 命 collector.emit (new Values (logEntry.getArtist(), 所 一 一 单反 序列 化 至 一 个 
名 的 输入 字段 logEntry.getTitle(), POJO 
logEntry.getTags 7 
) 3 人 人 将 由 TridentCollector 反 
序列 化 的 字段 发 射出 来 ， 在 一 个 
@Override 函数 中 ， 你 可 以 为 输入 元 组 发 射 
public void prepare (Map config, 零 个 或 更 多 的 元 组 。 在 这 个 案例 
TridentOperationContext context) { 中 ， 我 们 只 发 射 一 个 
gson = new Gson(); 
} 
@Override 
public void cleanup() { } 


public static class LogEntry { 
private String artist,; 


private String title; 
private List<String> tags = new ArrayList<>(); 


public String getArtist() { return artist; } 
public void setArtist (String artist) 1{ this.artist = artist; } 


public String getTitle() { return title; |} 
public void setTitle(String title) { this.title = title; } 


public List<String> getTags() { return tags; } 
public void setTags (List<String> tags) { this.tags = tags; | 


映射 


当 你 将 每 个 each 函 数 都 以 stteam.each (inputFields ，function，outputFields) 的 格式 来 定义 时 ， 只 有 原始 数据 流 中 的 字段 子 集 
(由 inputFields 来 表示 ) 才能 被 发 送 至 函数 中 (其 余部 分 将 无 法 通过 函数 来 访问 ) ， 我 们 称 这 种 方式 为 映射 (ptojection) ， 它 最 
大 的 好 处 就 是 可 以 避免 向 函数 传递 不 必要 的 参数 。 

你 可 以 使 用 project (http://www.hzcoutse.com/tresoutce/readBook? 
path=/opentesources/teach_ebook/uncompressed/17346/OEBPS/Text/..) 方法 ， 在 流 数据 上 执行 一 个 操作 符 后 移 除 不 需要 的 字 
段 。 在 这 个 案例 中 ， 我 们 在 流 数 据 上 执行 LogDesetializet 操 作 后 ， 需 要 保留 Play-log 字 段 ， 并 移 除 原始 的 NON 文件 。 这 么 做 的 好 处 
还 包括 将 不 必要 的 数据 从 内 存 中 移 除 ， 以 提高 资源 的 利用 效率 〈 特 别 是 在 Trident 中 ， 因 为 相 比 普通 的 Stortm 拓 扑 ，JVM 需 要 提供 
更 多 的 内 存 来 进行 批量 的 数据 处 理 操作 ) : 


PLayStream = playSstream.project (new Fields ("artist", "title", "tags'")).,; 


如 上 面 提 到 的 ， 这 里 我 们 需要 做 两 件 事 情 : 将 JSJON 转 换 成 独立 的 元 组 ， 这 一 步 我 们 已 经 实现 了 ; 为 每 个 字段 分 别 创建 数据 
流 。 接 下 来 就 看 看 如 何 实现 第 二 步 。 

基于 字段 分 组 进行 数据 流 分 离 

如 果 我 们 现在 就 停 下 来 只 能 得 到 一 个 数据 流 ， 其 中 的 批量 元 组 包含 四 个 值 ， 这 些 都 是 LogDeserializer 实 现 的 : 


collector.emit (new Values (logEntry.getArtist(), 
logEntry.getTitle'(), 


logEntry.getTags () ) ) ; 


我 们 目前 希望 实现 的 效果 如 图 9.7 所 示 。 


押运 的 是 ， 要 实现 数据 流 的 分 离 其 实 很 容易 。 我 们 可 以 为 每 个 分 友 的 数据 流 建 六 引 用， 然后 基于 这 些 引 用 应 用 不 同 的 操作 符 
完成 剩 下 的 Trident 操 作 ， 如 代码 清单 9.7 所 示 。 


我 们 已 经 有 了 实现 数据 流 分 离 的 代码 部 分 ， 但 这 些 数据 流 里 面 还 没有 任何 内 容 ， 它 们 目前 还 仪 仪 是 指向 初始 化 playStream 
的 引用 。 接 下 来 需要 将 字段 天 联 到 对 应 的 数据 流 中 ， 利 用 字段 名 来 对 元 组 实现 分 组 的 功能 束 派 上 用 场 了 。 


反 序 列 化 
播放 日 志 


[arTtITgte VThne ClasnY”. 
title="Clampdown", 
当前 数据 流 中 的 元 tags=["Punk", "1979"]] 
组 包含 多 个 字段 


我 们 布 望 实现 数据 流 的 


分 离 ， 让 每 个 数据 流 上 的 反 序 列 化 
元 组 仅 包含 一 个 字段 播放 日 志 


[artist="The Clash" | | [Et es Lam ow | | La un] 


图 9.7 我 们 希望 将 包含 多 参数 元 组 的 一 个 数据 流 分 离 为 包含 单 参 数 元 组 的 多 个 独立 数据 流 


程序 清单 9-7 将 从 LogDeserializer 输 出 的 原始 数据 流 分 解 为 独立 的 数据 流 


public StormTopology buildTopology() { 


TridentTopology topology = new TridentTopology(); 我 们 在 这 里 新 增 
文 里 新 增 


Stream playStream = 了 一 个 过 滤器 名 为 
topology.newStream("play-spout", buildSpout()) Sanitizer， 可 以 实 
.each (new Fields ("play-1o0og"), 现 对 无 效 的 艺术 家 或 

new LogDeserializer(), 歌 名 等 信息 的 过 滤 。 
new Fields("artist", "title", "tags")) 具体 方式 可 以 查看 该 
] 1 ] 1 1 十 1 、 
.each (new EGLO artist title ) ， 讨 滤器 的 实现 代码 
new Sanitizer (new Fields("artist", "title"))).,， 
Stream countByTitleStream = playstream; 通过 在 不 同 的 流 数 据 变 量 中 ,保存 对 同 


一 个 分 割 点 playStream 的 引用 ， 可 以 
持续 在 同一 个 点 开始 对 其 中 的 每 一 段 应 用 


Stream countByArtistStream = playSstream; 


Stream countByTagStream = playSstream; 不 同 的 操作 符 
return topology.bulld() ; 
} 
基于 字段 名 来 分 组 元 组 


Trident 提 供 了 一 个 groupBy 的 操作 符 ， 可 以 实现 基于 一 个 指定 的 字段 名 将 对 应 的 元 组 执行 分 组 操作 。 一 个 groupBy 操 作 符 
将 先 对 流 数据 执行 分 区 ， 以 便 具 有 相同 选 定 字 段 值 的 元 组 可 以 归 类 到 相同 的 分 区 中 ， 然 后 将 其 中 字段 一 致 的 元 组 进行 分 组 ， 如 代 
码 清单 9.8 所 示 ， 为 执行 该 groupBy 操 作 的 代码 。 


程序 清单 9-8 将 艺术 家 、 歌 曲名 和 标签 分 别 分 组 至 三 个 独立 的 数据 沅 中 


public StormTopology buildTopology() { 
TridentTopology topology = new TridentTopology(); 


Stream playSstream = 
topology.newStream("play-spout", buildSpout()) 
.each (new Fields ("play-1og"), 

new LogDeserializer(), 


new Fields("artist", "title", "tags")) 
.each (new Fields ("artist", "title"), 
new Sanitizer (new Fields("artist", "title")))., 
除了 艺术 
GroupedSstream countByTitleStream = playSstream | 家 抛弃 其 他 
.project (new Fields ("artist")) 全 部 值 


] 中 ] nn . < < 
.groupBy (new Fields ("artistn") ) ; | 基于 艺术 家 
playstream 讲 行 分 组 


除了 歌曲 GroupedSstream countByArtistStream = 


名 抛弃 其 他 上 > .project (new Fields ("title")) 
全 部 值 .groupBy (new Fields ("title")).,; | 基于 歌曲 名 
讲 行 分 组 


GroupedStream countByTagStream = playSstream 
.each (new Fields ("tags"), 
new ListSsplitter(), 


由 于 标 签 是 
<String> 字 符 串 列 
用 一 


这 


除了 株 new Fields ("tag")) 表 ， 所 以 先 使 个 
签 抛弃 其 上 心 .project (new Fields ("tag")) each 函数 将 列表 进行 
他 全 部 值 


.GroupBy (new Fields ("tag")); 二 he 
基于 标签 讲 行 分 组 拆 分 ， 然 后 将 分 离 出 


return topology.build(); 来 的 元 组 命名 为 标签 


| 


ListSplitter 丈 是 和 LogDeserializer 功 能 类 似 的 each 了 为 数 ， 区 别 在 于 ListSplitter 是 将 tags 列 表 分 割 成 单个 的 tag 元 组 。 


现在 ,我 们 已 经 完成 了 对 数据 流 的 拆 分 ， 然 后 基于 艺术 家 、 吹 曲名 和 标签 进行 了 分 组 工作 ， 接 下 来 束 要 针对 这 些 字段 流 数 据 
执行 统计 操作 了 。 


9.4.3 将 乙 术 家 、 歌 曲名 和 标 等 进行 统计 计 效 和 持久 化 操作 


下 面 要 做 的 是 基于 艺术 家 、 歌 曲名 和 标签 元 组 执行 聚合 操作 ， 以 便 可 以 进行 统计 计数 操作 。 我 们 现在 所 在 拓扑 设计 中 的 位 置 
如 图 9.8 所 示 。 


如 图 9.8 所 示 ， 这 里 主要 有 两 个 步 又: 第 一 步 为 每 个 数据 流 的 元 组 基于 字段 值 进行 统计 计数 ;第 二 步 将 统计 结果 进行 持久 
化 。 首 先 这 里 有 三 种 万 式 可 以 实现 元 组 的 聚合 操作 ， 我 们 需要 判断 哪 一 种 方式 最 适合 目前 的 场景 。 


为 实现 计数 统计 先 要 选择 聚合 的 实现 方法 


这 里 有 三 种 方式 可 以 实现 对 元 组 的 聚合 操作 ， 每 一 种 都 有 目 己 的 接口 ， 可 以 进行 独立 部 署 ， 代 码 如 下 : 


| [ES 二 放下 | | [上 title="Clampdaownn" ] | [tag="Punk"] 


更 新 歌曲 名 
的 统计 计数 


更 新 艺术 家 
的 统计 计数 


更 新 标签 的 
统计 计数 


| [rest= eoummnktasl0d | [title-count=34] | [tag-count=2313] 


将 乏术 家 的 
统计 计数 执行 
持久 化 


将 标签 的 
统计 计数 执 


将 歌曲 名 的 
统计 计数 执行 
持久 化 


图 9.8 ”为 分 组 后 的 艺术 家 、 歌 曲名 和 标签 数据 流 进行 计数 统计 ， 并 做 持久 化 存储 操作 


] CombinerAggregator 
public interface CombinerAggregator<T> extends Serializable 1 
T init (TridentTuple tuple).; 


T combine(T vall, T val2).:; 起 
T Zerol(). 3 


CombinerAggregator 将 为 每 个 元 组 调用 init@ 方 法 ， 然 后 使 用 ombine@ 方 法 组 合 每 个 元 组 的 init 值 ， 并 返回 结果 值 ， 如 
果 没 有 可 聚合 的 元 组 ， 则 返回 zero@ 值 。 


2. ReducerAggregator 
public interface ReducerAggregator<T> extends Serializable 1 
T init(); 


T reduce(T curr, TridentTuple tuple).,; 4 


ReducerAggregator 将 为 聚合 调用 一 次 init 访 法 四 ， 接 着 为 每 个 元 组 和 当前 值 调 用 reduce@)。 


3. Aggregator 
public interface Aggregator<T> extends Operation 


T init(Object batchId, TridentCollector collector);} 
Vold aggregate(T state, TridentTuple tuple, TridentCollector collector); 
void complete(lT state, TridentCollector collector),， 


| 


Aggregator 是 一 个 更 底层 级 别 抽象 接口 的 实现 ， 用 于 完成 更 复杂 的 聚合 。 详 细 信 息 可 以 参阅 Storm 的 文档 。 


大 部 分 情况 下 ， 你 都 会 使 用 CombinerAggregator 或 ReducerAggregator。 如 果 整 个 聚合 中 所 需要 的 初始 值 不 依赖 于 任何 
单个 元 组 ， 那 么 就 必须 使 用 ReducerAggregator。 否 则 ， 我 们 更 建议 使 用 CombinerAggregator， 因 为 它 的 效率 更 高 。 


CombinerAggregator 相 比 ReducerAggregator 的 优势 


当 你 基于 ReducerAggregatot 或 是 Aggregatot 来 进行 聚合 操作 时 ， 系 统 需要 执行 一 个 重 分 区 的 操作 ， 使 得 所 有 的 分 区 都 将 折合 
一 起 ， 让 聚合 的 操作 计算 仅 发 生 在 该 分 区 上 。 但 是 ， 如 果 你 是 基于 CombinerAggregatot 的 实现 (与 Count 的 实现 类 似 ) ，Trident 将 
在 当前 分 区 执行 部 分 聚合 操作 ， 然 后 再 将 数据 流 重 分 配 为 一 个 流 ， 并 通过 进一步 部 分 聚合 操作 来 完成 全 部 元 组 的 聚合 。 这 个 方式 
更 有 效率 ， 因 为 在 重新 分 区 期 间 ， 只 有 少量 的 元 组 可 以 通过 队列 通道 。 正 因为 如 此 ，CombinefAgstregatot 才 是 首选 的 方案 ; 只 有 
当 你 需要 基于 初始 值 来 执行 聚合 ， 而 不 是 独立 元 组 时 ， 才 需要 使 用 ReducerAggregator。 


对 于 我 们 的 场景 ， 需 要 使 用 一 个 名 为 Count 的 内 置 聚 合 器 来 实现 CombinerAggregator。 这 个 实现 十 分 简单 ， 能 完成 针对 
艺术 家 、 人 歌曲 名 和 标签 的 分 组 统计 ， 如 代码 清单 9.9 所 示 ， 为 实现 Count 的 代码 部 分 


程序 清单 9-9 ”继承 CombinerAggregator.java 实 现 的 内 建 Count.java 


public class Count implements CombinerAggregator<Long> { < 
@Override 聚合 Ps 结果 数 


public Long init (TridentTuple tuple) { return 1L; } 据 类 型 是 Long 

@Override 

public Long combine (Long vall, Long val2) { return vall + val2; } 

ni 将 两 人 人 、 \ 值 聚 合 人 、 

public Long zero() { return 0L; } < 一 一 在 一 起 ， 这 会 在 

} 如 果 没 有 可 聚合 怎 个 独 写 的 元 和 
_ 的 元 组 ， 使 用 这 个 中 人， 
对 于 每 个 元 组 ， 从 中 选 出 要 在 聚合 中 使 用 的 值 ， 由 于 我 们 值 为 默认 什 和 当前 统计 值 上 
只 是 对 元 组 做 计数 ， 所 以 需要 选择 的 值 只 有 一 个 。Storm 8 都 调用 一 次 


也 有 一 个 内 置 的 SumCombinerAggregator， 用 于 从 元 组 
( (Number)tuple.getValue(0)) 获取 需要 的 值 


虽然 我 们 确定 使 用 Count 类 来 获取 实际 的 统计 结果 值 ， 但 依然 需要 在 TopologyBuilder 构 建 中 连接 Count 的 实例 ， 接 下 来 束 
看 看 如 何 实现 。 


Trident 提 供 了 三 种 数据 流 的 聚合 实现 : 


" pattitionAggregate: 这 个 操作 符 仅 能 作用 于 独立 的 聚合 元 组 操作 ， 而 且 仅 能 在 单个 分 区 中 工作 。 这 个 操作 可 以 让 一 个 Stream 
包含 聚合 完成 的 结果 元 组 ， 用 于 设置 pattitionAggregate 的 代码 如 下 : 


Stream aggregated = stream.partitionAggregate (new Count () ， 
new Fields ("output"))., 


ageregate: 这 个 操作 符 仅 能 作用 于 独立 的 聚合 元 组 操作 ， 但 可 以 在 该 批量 元 组 所 在 全 部 分 区 上 有 效 。 这 个 操作 可 以 让 一 个 
Stteam 包 含 聚合 完成 的 结果 元 组 ， 用 于 设置 aggregate 的 代码 如 下 : 


Stream aggregated = stream.aggregate (new Count () ， 
new Fields ("output"))., 


persistentAggregate: 这 个 操作 符 可 以 应 用 在 多 个 批量 的 数据 上 ， 并 且 承 担 聚 合 和 持久 化 的 双重 功能 。 它 将 使 用 <state- 
factoty> 来 实现 持久 化 到 数据 库 的 操作 ， 这 里 的 <state-factory> 也 是 Ttident 用 来 与 数据 库 交 互 的 抽象 类 。 由 于 它 需 要 与 状态 量 一 起 
使 用 ，petsistentAgsregate 可 以 实现 垮 批 次 的 数据 处 理 。 它 将 首先 对 流 中 当前 的 批 次 实现 聚合 ， 然 后 基于 当前 的 值 在 数据 库 中 完成 


后 续 的 聚合 操作 ， 而 这 个 操作 还 可 以 实现 TridentState 的 查询 。 用 于 设置 persistentAgeregate 的 代码 如 下 : 


TridentState aggregated = stream.persistentAggregate(<state-factory>, 
new Count(), 


new Fields ("output")).,; 


在 以 上 代码 中 ，Count 聚 合 器 可 以 替换 成 任意 CombinerAggregator、ReducerAggregator 或 Aggregator 的 实现 。 


个 人 


这 里 面 哪 种 聚合 操作 最 适合 我 们 呢 ? 让 我 们 先 看 看 partitionAggregate。 由 于 我 们 知道 partitionAggregate 仅 能 在 单个 分 
区 中 运行 ， 所 以 我 们 必须 弄 清楚 ， 聚 合 的 操作 是 否 需要 在 一 个 分 区 内 完成 。 由 于 已 经 应 用 了 一 个 groupBy 操 作 来 完成 通过 一 个 字 
段 (艺术 家 、 歌 曲名 和 标签 ) 实现 元 组 的 分 组 ， 以 及 将 整个 批 次 中 的 元 组 进行 计数 。 这 意味 着 如 果 我 们 要 跨越 分 区 ， 那 么 
partitionAggregate 将 不 是 我 们 的 选择 。 

接 下 来 是 aggregate， 这 个 操作 适用 于 存在 所 有 分 区 的 一 批 元 组 ， 这 也 是 我 们 需要 的 。 但 是 ， 如 果 我 们 决定 使 用 
aggregate， 那 么 就 需要 应 用 另 一 个 操作 来 完成 聚合 结果 的 持久 化 。 因 此 ， 如 果 我 们 决定 采取 额外 的 方法 来 实现 跨 区 处 理 和 持久 
化 等 功能 ， 那 么 aggregate 可 以 用 来 实现 聚合 功能 。 

对 于 我 们 的 场景 ， 这 里 一 定 有 一 个 更 好 的 选择 ， 所 以 接 下 来 看 看 persistentAggregate， 只 是 从 名 字 上 看 ， 感 锅 这 可 能 是 我 
们 需要 的 操作 待 。 由 于 我 们 需要 先 实现 聚合 计数 ， 然 后 将 聚合 结果 持久 化 完成 存储 。persistentAggregate 需 要 配合 状态 量 , 而 
且 可 以 在 批量 元 组 之 间 工 作 ， 所 以 感觉 更 匹配 我 们 的 场景 需求 。 此 外 ，persistentAggregate 还 提供 了 TridentState 查 询 对 象 ， 
使 我 们 能 够 轻松 构建 之 前 在 问题 定义 中 讨论 的 各 种 报告 。 

既然 我 们 已 经 选择 persistentAggregate 作 为 解决 方案 ， 但 在 进入 下 一 步 之 前 ， 还 有 最 后 一 部 分 需要 定义 ， 先 来 看 一 下 


persistentAggregate 的 代码 : 


stream.persistentAggregate(<state-factory>, 
new Count () ， 
new Fields ("output")).; 


TridentState aggregated = 


这 里 还 需要 一 个 <state-factory>， 那 么 接 下 来 就 讨论 下 这 部 分 。 


我 们 需要 为 Trident 实 现 一 个 StateFactory， 用 于 处 理 状态 量 。StateFactory 作 为 一 个 抽象 类 ， 它 具备 查询 和 更 新 数据 库 的 
功能 。 那 么 对 于 我 们 的 场景 ， 要 做 的 就 是 直接 选择 Trident 内 置 的 MemoryMapState.Factory。 MemoryMapState.Factory 可 
以 与 内 存 中 的 Map 了 映射 配 合 工作 ， 刚 好 满足 当前 的 需求 。 用 于 实现 该 状态 工厂 的 代码 如 代码 清单 9.10 所 示 。 


程序 清单 9-10 ”在 TopologyBuilder.java 中 使 用 persistentAggregate 操 作 符 来 更 新 /持久 化 统计 计数 


public class TopologyBuilder { 
public StormTopology buildTopology() { 


TridentTopology topology = new TridentTopology () ; 


Stream playSstream = 


topology.newStream("play-spout", buildSpout () ) 
.each (new Fields ("play-l1og"), 

new LogDeserializer(), 

new Fields("artist", "title", "tags")) 
.each (new Fields ("artist", "title"), 


new Sanitizer(new Fields("artist", "title"))); 
TridentSstate countsByTitle = 

playSstream 

.project (new Fields ("artist")) 

.groupBy (new Fields ("artist")) 


.PersistentAggregate (new MemoryMapState.Factory(), 


将 persistent- 
Aggregate 操作 符 应 用 在 
GroupedSstream 上 ， 结 
合 由 MemoryMapState. 
Factory 中 Combiner- 


Aggregator 实 现 的 


new Count () ， Count ， 可 以 为 我 们 提供 一 


< 一 个 TriadqentState 值 


new Fields ("artist-countn) ) ; 


TridentSstate countsByArtist = 
playSstream 
.project (new Fields ("title")) 
.groupBy (new Fields ("title")) 
.persistentAggregate (new MemoryMapState.Factory () ， 
new Count(), 


new Fields ("title-count")); < 


TridentSstate countsByTag = 
playSstream 
.each (new Fields ("tags"), 


将 persistentAggregate 
操作 符 应 用 在 Grouped- 
Stream 上 ,结合 由 Memory - 
MapState.Factory 中 
CombinerAggregator 实 现 
的 Count ， 可 以 为 我 们 提供 一 
个 TridentState 值 


new ListSplitter(), 
new Fields ("tag")) 
.project (new Fields ("tag")) 
.groupBy (new Fields ("tag")) 
.persistentAggregate (new MemoryMapState.Factory () ， 
new Count () ， 
new Fields ("tag-countn) ) ; < 


return topology.build(),; 


} 
} 


以 上 就 是 我 们 基本 上 实现 的 基础 Trident 拓 扑 结构 ， 现 在 内 存 中 已 经 可 以 得 到 所 有 我 们 感 兴趣 的 字段 统计 结果 了 ， 分 别 标识 
为 : artist、title 和 tag。 接 下 来 是 否 可 以 继续 了 呢 ? 还 不 元 全 ， 因 为 我 们 党 得 还 是 有 必要 把 这 些 内 存 中 的 计数 结果 解释 一 下 ， 
为 目前 可 能 还 没 办 法 直接 读 取 。 现 在 我 们 要 实现 的 歹 是 能 读 取 这 些 统计 结果 ， 及 取 的 方式 束 是 Storm 的 DRPC 功 能 。 


9.5 “借助 DRPC 访 问 持 久 化 的 统计 结果 


现在 我 们 已 经 获得 了 包含 艺术 家 、 和 歌曲 名 称 和 标签 计数 的 TridentSstate 对 象 ， 接 下 来 需要 通过 查询 对 象 中 的 这 些 计 数 来 构建 
所 需要 的 报告 。 由 于 设计 上 我 们 希望 将 应 用 程序 和 Storm 隔 离 ， 它 们 之 间 只 能 通过 外 部 万 式 来 访问 ， 所 以 程序 需要 具备 这 样 一 个 
功能 来 查询 拓扑 以 获取 所 需 的 数据 。 我 们 可 以 使 用 DRPC (分 布 式 远程 过 程 调 用 ) 来 实现 这 个 目的 。 


在 Storm 的 DRPC 中 ， 客 户 端 将 向 Storm 的 DRPC 服 务 器 友 出 一 个 DRPC 请 求 ， 服 务 器 将 把 请 求 友 送 到 相应 的 storm 拓扑 来 协 


调 请 求 ， 并 等 竺 该 折 扑 的 应 答 。 一 旦 收 到 应 答 ， 它 将 把 应 答 返 回 到 请 求 客户 端 。 这 实际 上 是 通过 并 行 查询 的 方式 ， 非 单 局 效 地 碍 
询 多 个 艺术 家 或 标签 的 统计 值 ， 然 后 求 和 返回 最 终 值 。 


本 节 将 讲解 为 了 满足 我 们 需求 ， 实 现 Storm DRPC 查 询 方式 的 三 个 步骤 : 
` 创建 一 个 DRPC 流 。 
向 流 中 应 用 一 个 DRPC 状 态 查 询 。 
使 用 DRPC 客 户 端 向 Storm 发 起 DRPC 调 用 请 求 。 


我 们 先 从 创建 一 个 DRPC 流 开始 。 


9.5.1 创建 一 个 DRPC 流 


当 Storm 的 DRPC 服 务 器 收 到 请 求 时 ， 需 要 将 其 路 由 到 我 们 的 拓扑 。 对 于 我 们 的 拓扑 来 说 ， 如 果 要 处 理 这 个 传 入 请 求 ， 它 需 
要 先 由 一 个 DRPC 流 ， 可 以 让 Storm 的 DRPC 服 务 器 把 所 有 传 入 的 请 求 都 路 由 到 这 个 数据 流 上 。DRPC 数 据 流 可 以 措 定 一 个 名 称 ， 
用 于 我 们 在 执行 分 布 式 查 询 时 的 目标 地 址 ， 以 及 DRPC 服 务 器 在 处 理 传 入 请 求 时 ， 控 制 路 由 的 目标 数据 流 (以 及 拓扑 中 转发 的 数 
据 流 ) 。 如 何 创建 一 个 DRPC 流 的 命令 如 代码 清单 9.11 所 示 。 


程序 清单 9-11 创建 一 个 DRPC 流 
topology .newDRPCStream("count-request-by-tag") 
DRPC 服 务 器 接收 到 参数 将 以 文本 的 形式 传 入 DRPC 冰 数 ， 并 转 友人 至 DRPC 数 据 流 ， 因 此 我 们 需要 将 文本 参数 解析 成 可 以 在 


DRPC 数 据 流 中 使 用 的 格式 。 代 码 清单 9.12 展 示 了 如 何 为 count-request-by-tag 结 构 的 DRPC 数 据 流 ， 以 逗号 分 隔 来 定义 用 于 查 
询 的 标签 列表 参数 。 


如 代码 清单 9.12 所 示 ， 每 个 each 函 数 都 会 去 调用 SplitOnDelimiter， 接 下 来 看 看 类 的 实现 ， 如 代码 清单 9.13 所 示 。 
程序 清单 9-12 为 DRPC 数 据 流 定义 参数 的 格式 


topology.newDRPCStream('"count-request-by-tag'") 
.each (new Fields ("args"), 
new SplitOonDelimiter(","), 
new Fields ("tag"));) 


程序 清单 9-13 SplitOnDelimiter.java 


public class SplitOnDelimiter extends BaseFunction { 
private final String delimiter,; 


public SplitOonDelimiter(String delimiter) { 


this.delimiter = delimiter; , 
; 这 里 的 实现 和 之 前 
用 于 解析 播放 日 志 的 
@Override LogDeserializer 
public void execute (TridentTuple tuple, 类 似 
TridentCollector collector) { < 一 


for (String part : tuple.getString(0) .split (delimiter)) { 
If (part.length() > 0) collector.emit (new Values (part)).,， 


到 这 里 ， 我 们 已 经 有 了 一 个 基础 的 DRPC 数 据 流 ， 下 一 步 是 在 这 个 数据 流 上 应 用 一 个 状态 查询 语句 。 


9.5.2 辣 流 中 应 用 一 个 DRPC 状 态 查 坷 


我 们 希望 执行 完 状态 查询 语句 ， 提 交 了 DRPC 请 求 后 ， 可 以 获得 的 应 答 是 基于 给 定 标签 变量 的 播放 统计 量 ， 还 记得 我 们 之 前 
是 如 何 计算 TridentState 标 签 的 吗 ， 代 码 如 代码 清单 9.14 所 示 。 


程序 清单 9-14 ”创建 counts-by-tag 数 据 流 以 便 输 出 TridentState 


TridentState countsByTag = playSsStream 
.each (new Fields ("tags"), 
new ListSplitter(), 
new Fields ("tag")) 
.project (new Fields ("tag")) 
.groupBy (new Fields ("tag")) 
.persistentAggregate (new MemoryMapState.Factory(), 
new Count () ， 
new Fields ("tag-count"))., 


我 们 基于 一 个 给 定 的 标签 ， 将 查询 的 统计 计数 存储 至 一 个 内 存 映射 中 ， 其 中 标签 作为 主键 ， 统 计数 作为 值 。 现 在 我 们 需要 做 
的 是 基于 标签 村 询 统 计 个 数 ， 并 作为 DRPC 查 询 语句 的 返回 值 。 这 需要 在 DRPC 数 据 流 上 执行 stateQuery 操 作 来 实 
现 ，stateQuery 操 作 的 说 明 如 图 9.9 所 示 。 


我 们 之 前 在 数据 流 中 
创建 的 TridentState 实例 ”用 于 查询 的 Fields 字段 名 称 


一 一 一 一 一 一 一 一 一 一 一 一 


Stream stateQuery (TridentSstate state, Fields inputFields, 
OQueryFuUunNnction function, Fields outputFields) 


EE 


一 个 基于 QueryFunction 的 实现 ， 知 姐 ” 分 配给 查询 结果 
如 何 通 过 TridentState 对 和 象 访问 数据 。 由 的 Fields 名 称 
于 我 们 使 用 了 MemoryMapState 作为 后 备 
状态 和 存储， 所 以 我 们 的 QueryFunction 家 
要 能 够 从 MapState 的 实现 中 去 查找 数值 


图 9.9 ”分 解 stateQuery 操 作 符 


如 图 9.9 所 示 ， 我 们 选用 的 QueryFunction 需 要 知道 如 何 通 过 TridentState 对 象 来 访问 数据 ， 幸 运 的 是 ，Storm 自 带 的 
MapGet 人 三 询 消 数 ， 可 以 与 我 们 实现 的 MemoryMapState 搭 配 使 用 。 


但 是 ， 实 现 这 个 状态 查询 并 不 像 在 DPRC 数 据 流 增加 stateQuery 查 询 那 么 简单 ， 原 因 是 在 我 们 原始 的 播放 数据 流 中 ， 使 用 
groupBy 操 作 符 对 数据 流 基 于 tag 字 段 做 了 重 分 配 。 为 了 从 DRPC 数 据 流向 包含 TridentState 所 需 标签 的 同一 个 分 区 ， 发 送 
count-request-by-tag 请 求 ， 我 们 也 需要 基于 同样 的 字段 标签 ， 在 DRPC 数 据 流 上 应 用 groupBy 操 作 。 如 列表 9.15 所 示 ， 为 实现 
这 部 分 的 代码 。 


程序 清单 9-15 “查询 counts-by-tag 以 便 获 得 一 个 状态 源 


topology .newDRPCStream("count -zedquest -by-tag'") 基于 标签 对 输 
.each (new Fields ("args"), 入 的 DRPC 查询 


针 对 counts- 
ByTag 状态 对 象 ， 
初始 化 一 个 状态 


new SplitOnDelimiter(","), 请 求 执 行 分 组 
new Fields ("tag")) 


.groupBy (new Fields ("tag")) 使 用 一 个 内 置 的 


> .stateQuery (countsByTag, MapGet 操 作 符 ， 
> new Fields ("tag"), 基于 关键 值 从 一 个 
从 分 组 中 使 用 一 个 标签 什 l es 了 一 Map 中 执行 查询 


new Fields ("count")).,， < So 
一 个 统计 字段 发 
射出 去 


现在 我 们 已 经 得 到 了 我 们 想 要 的 基于 每 个 标签 的 统计 结果 ， 到 这 里 DRPC 的 数据 流 已 经 完成 使 命 了 ， 不 过 我 们 还 可 以 增加 一 
个 额外 的 each 操 作 ， 用 来 过 滤 挥 空 的 统计 值 (也 丈 是 说 ， 在 播放 流 中 没 遇 到 的 标签 ) ， 但 我 们 打算 将 这 些 空 值 留 给 DRPC 的 调用 
者 来 处 理 。 


接 下 来 残 进入 了 最 后 一 步 : 能 够 通过 DRPC 客 尸 端 与 Storm 建 立 通 信 。 


9.5.3 ”借助 DRPC 客 户 端 友 起 一 个 DRPC 调 用 


通过 将 Storm 作为 依赖 项 包含 在 客户 叫 应 用 程序 中 ， 并 使 用 构建 在 Storm 中 的 PRPC 客 户 站 ， 可 以 对 此 拓扑 进行 DRPC 请 
求 。 完 成 此 操作 后 ， 您 可 以 使 用 类 似 于 代码 清单 9.16 中 的 代码 来 进行 实际 的 DRPC 请 求 。 


程序 清单 9-16 ”执行 一 个 DRPC 请 求 


A 妈 什 一 个 
DRPCClient client = new DRPCClient ("drpc.server.location", 3772),;4 如 化 \ 
DRPC 客户 端 ， 
铝 枉 主机 放 禾 
和 七 工 包括 主机 名 和 
通过 comma- x { ， | 
Em 4 列 String result = client .execute("count-request-by-tag", < 一 Storm DRPC 
本 9 gy 
和 es "Punk, Post Punk,Hardcore Punk'") ; 服务 器 的 端口 
表格 式 向 函数 System.out .pzIntJln(reSsul]lt) ; 号 
化 全 
传 参 } catch (TException e) { 
// thrift error 打印 结果 中 在 拓扑 中 调用 
} catch (DRPCExecutionException e) { 包含 JSON 格式 一 个 和 DRPC 函 
// drpc execution error 的 元 组 数 一 样 名 称 的 
} DRPC 请 求 


DRPC 请 求 是 基于 Thrift 协 议 来 完成 的 ， 所 以 你 需要 学 会 处 理 与 Thrift 有 关 的 错误 (通常 是 和 连接 相关 的 ) ， 以 及 
DRPCExecutionException 的 错误 (通常 是 和 功能 相关 的 ) 。 束 这 样 ， 我 们 已 经 基本 覆 藉 了 主要 的 知识 各 ， 现 在 你 已 经 实现 了 一 
个 拓扑 ， 用 于 维护 艺术 家 、 歌 曲名 称 和 标签 的 统计 计数 和 状态 量 ， 并 提供 查询 。 所 以 ,我们 已 经 使 用 Trident 和 Storm 的 DRPC,， 
基本 构建 了 一 个 功能 完善 的 拓扑 结构 。 


还 是 什么 遗漏 的 吗 ? 如 果 你 还 记得 前 几 章 的 内 容 ， 那 就 是 在 你 部 署 完 拓扑 结构 之 后 ， 作 为 开 友 人 员 ， 你 的 工作 尚未 结束 。 这 
里 也 一 样 ， 在 9.6 节 中 我 们 将 讨论 如 何 借助 Storm UI 将 Trident 的 操作 映射 至 Storm 的 原 语 ， 用 于 识别 底层 中 对 应 的 spout 和 和 
bolt。 接 下 来 ，9.7 节 将 进一步 实现 Trident 拓 扑 的 扩展 。 


9.6 将 Trident 的 操作 待 映射 至 Storm 的 原 语 


回忆 一 下 ， 在 本 章 的 开头 ， 我 们 过 论 了 Trident 拓 扑 是 如 何 构建 在 Storm 原 语 之 上 的 ， 并 且 做 了 比较 详细 的 解释 。 那 么 在 这 
个 案例 完成 之 后 ， 我 们 来 看 看 Storm 是 如 何 将 Trident 拓 扑 转换 成 bolt 和 spout 的 。 首 先 看 看 我 们 的 DRPC 是 如 何 映射 spout 到 
Storm 原 语 的 。 为 什么 不 从 整体 开始 呢 ? 因 为 这 样 一 步 步 可 能 会 更 有 助 于 理解 ， 通 过 先 了 解 核 心 的 Trident 流 ， 然 后 骨 来 解构 
DRPC 数 据 流 。 


去 掉 DRPC 的 spout， 我 们 的 TopologyBuilder 代 码 如 代码 清单 9.17 所 示 。 


程序 清单 9-17 去 挥 DRPC 数 据 流 的 TopologyBuilder.java 


public TopologyBuilder { 
public StormTopology build() { 
TridentTopology topology = new TridentTopology () ; 


Stream playStream = topology 
.newStream("play-spout", buildSpout () ) 


.Each (new Fields ("play-1o09g"), 
new LogDeserializer (), 


new Fields("artist", "title", "tags")) 
.each (new Fields ("artist", "title"), 
new Sanitizer (new Fields("artist", "title"))).; 


TridentState countByArtist = playStream 
.project (new Fields ("artist")) 
.groupBy (new Fields ("artist")) 
.persistentAggregate (new MemoryMapState.Factory(), 
new Count () ， 
new Fields ("artist-count")).,， 


TridentState countsByTitle = playStream 
.project new Fields ("title")) 
.groupBy (new Fields ("title")) 
.persistentAggregate (new MemoryMapState.Factory(), 
new Count () ， 
new Fields ("title-count")).,; 
TridentState countsByTag = playStream 
.each (new Fields ("tags"), 
new ListSplitter(), 
new Fields ("tag")) 
.project (new Fields ("tag"),) 
.groupBy (new Fields ("tag")) 
.persistentAggregate (new MemoryMapState.Factory(), 
new Count () ， 
new Fields ("tag-count"))., 


return topology.build(); 


当 我 们 的 Trident 拓 扑 需 要 转换 为 Storm 拓 扑 结构 时 ，Storm 将 会 以 一 种 非常 高 效 的 方式 ， 将 Trident 的 操作 符 打 包 为 bolt。 
其 中 一 部 分 操作 符 将 被 分 组 并 组 成 相同 的 bolt， 其 他 的 操作 符 也 将 被 分 组 打包 。 如 图 9.10 所 示 ，Storm Ul 提供 了 一 个 视图 用 于 
查看 映射 关系 。 


Spouts (All time) 


Id » Executors 


$mastercoord-bg0 


Bolts (All time) 
Id a Transferred 
$spoutcoord-spout0 
b-0 
b-1 
b-2 


b-3 


图 9.10 ”Storm UI 将 我 们 的 Trident 拓 扑 分 解 为 spout 和 bolt 


你 可 以 看 到 ， 我 们 有 一 个 spout 和 六 个 bolt， 其 中 两 个 bolt 拥 有 一 个 共同 的 spout， 另 外 四 个 分 别 标记 为 从 b-0 到 b-3。 我 们 
还 可 以 看 到 一 些 组 件 ， 但 并 不 清楚 它们 与 Trident 操 作 符 的 关系 。 


与 其 试图 从 名 字 中 寻找 答案 ， 不 如 采取 我 们 介绍 的 这 一 种 方法 ， 能 更 容易 地 识别 组 件 。Trident 有 一 个 命名 操作 待 ， 它 可 以 
为 操作 符 指 定 一 个 目 定义 的 名 称 ， 如 果 我 们 在 拓扑 中 为 每 个 操作 集合 都 单独 命名 ， 那 么 我 们 的 代码 可 能 会 如 代码 清单 9.18 所 示 。 


程序 清单 9-18 进行 自 定义 命名 的 TopologyBuilder.java 


public TopologyBuilder { 
public StormTopology build() { 
TridentTopology topology = new TridentTopology(),; 


Stream playStream = topology 
.newStream("play-spout", buildSpout () ) 
.each (new Fields ("play-l1og"), 

new LogDeserializer(), 


new Fields("artist", "title", "tags")) 
.each (new Fields("artist", "title"),, 
new Sanitizer(new Fields("artist", "title"))),) 


.name ("LogDeserializerSanitizer"); 


TridentState countByArtist = playStream 
.project (new Fields ("artist")) 
.groupBy (new Fields ("artist")) 
.name ("ArtistCounts") 
.persistentAggregate (new MemoryMapState.Factory(), 
new Count(), 
new Fields ("artist-count")),;) 


TridentState countsByTitle = playSstream 
.project (new Fields ("title")) 
.groupBy (new Fields ("title")),) 
.name ("TitleCounts") 
.persistentAggregate (new MemoryMapState.Factory(), 
new Count () ， 
new Fields ("title-count")).,; 


TridentState countsByTag = playStream 
.each (new Fields ("tags"),, 
new ListSplitter(), 
new Fields ("tag")) 
.project (new Fields ("tag")) 
.groupBy (new Fields ("tag")) 
.name ("TagCounts") 
.persistentAggregate (new MemoryMapState.Factory(), 
new Count(), 
new Fields ("tag-count")); 


return topology.build().; 


如 果 我 们 这 时 再 来 看 看 Storm Ul， 那么 底层 到 底 友 生 了 什么 束 一 目 了 然 了 ， 如 图 9.11 所 示 。 


Spouts (All time) 


Id ~ Executors 


$mastercoord-bg0 


Bolts (Alltime) 


$spoutcoord-spout0 
b-0-TitleCounts 
b=-1=TagCounts 
b-2-ArtistGounts 


b-3-LogDeserializerSanitizer-ArtistCounts-LogDeserializerSanitizer-TitleCounts- 
LogDeserializerSanitizer- TagCounts 


sBOUtO 
图 9.11 Storm UI 中 显示 我 们 在 Trident 进 行 自 定义 后 的 操作 符 
我 们 可 以 看 到 ， 名 为 b-3 的 bolt 执 行 了 日 志 反 序列 化 和 清理 ， 而 b-0、b-1 和 b-2 分 别 实现 了 歌曲 名 、 标 签 和 艺术 家 的 统计 计 
数 。 为 了 更 清楚 地 区 分 各 部 分 的 名 称 ， 我 们 建议 始终 要 对 分 区 做 重 命名 。 


那 日 志 的 反 序列 化 bolt 名 称 应 该 是 什么 样 的 呢 ? 例如 可 以 是 这 样 的 ，LogDeserializerSanitizer-ArtistCounts- 
LogDeserializer-Sanitizer-TitleCounts-LogDeserializer-Sanitizer-TagCounts， 天 呐 ， 想 一 口气 念 出 来 都 不 可 能 ! 但 这 样 的 
方式 确实 为 我 们 提供 足够 的 信息 ， 碍 看 到 数据 是 如 何 从 日 志 的 反 序列 和 清理 器 中 取出 ， 然 后 进行 乞 术 家 名 称 、 歌 曲名 和 标签 的 统 
计 计 数 。 这 虽然 不 是 最 优雅 的 查看 方式 ， 但 至 少 比 b-0 这 样 的 命名 提供 的 信息 量 准确 。 


了 解 了 这 些 规 则 后 ， 再 来 看 看 如 图 9.12 所 示 的 Tridentbolt 的 映射 逻辑 ， 融 更 容易 理解 了 。 现 在 ， 我 们 再 看 看 如 何 为 DRPC 
数据 流 也 添加 类 似 的 命名 规则 ， 代 码 如 代码 清单 9.19 所 示 。 
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图 9.12 ” Trident 操作 符 是 如 何 映 射 成 bolt 的 


图 9.13 展 示 了 将 目 定 义 命名 的 操作 符 添加 人 至 DRPC 数 据 流 之 后 的 Storm Ul 视图 效果 。 


看 看 有 什么 变化 吗 ? 


此 时 ,我 们 的 日 志 bolt 现 在 变 成 了 b-2 而 不 是 b-3， 这 一 点 非常 重要 。 因 为 当 你 更 改 了 拓扑 中 的 bolt 数 量 时 ， 残 不 可 能 要 求 目 
动 生 成 的 bolt 命 名 维持 不 变 。 


因此 ，bolt 的 命名 也 将 由 于 数量 的 变化 ， 从 4 个 增加 到 5 个 。 


程序 清单 9-19 ”DRPC 数 据 流 和 目 定 义 命名 的 操作 符 


topology.newDRPCStream('"count-request-by-tag") 
.name ("RequestForTagCounts") 
.each (new Fields ("args"), 
new SplitOnDelimiter(","), 
new Fields ("tag")) 
.groupBy (new Fields ("tag")) 
.name ("QueryForRequest") 
.StateQuery (countsByTag, 
new Fields ("tag"), 
new MapGet (), 
new Fields ("count")).,， 


Bolts (All time) 


Id _ Executors Tasks 
$spoutcoord-spout0 1 1 
b-0-TitleCounts 1 1 


b-1-LogDeserializerSanitizer-ArtistCounts-LogDeserializerSanitizer- TitleCounts- 
LogDeserializerSanitizer- TagCounts 


b-2 1 1 
b-3-TagCounts-QueryForRequest 1 1 
b-4 1 | 


b-5-RequestForTagCounts | | 
b-6-ArtistCounts 1 | 


Spout0 1 1 


图 9.13” 自 定义 命名 操作 符 之 后 的 Trident 拓 扑 和 DRPC 数 据 流 在 Storm UI 中 的 显示 效果 


我 们 还 有 一 些 未 命名 的 bolt， 那 么 这 些 bolt 的 命名 会 友 生 了 什么 变化 ”由 于 额外 添加 的 DRPC spout 修 改 了 storm 原 语 的 映 
射 天 系 ， 所 以 相关 命名 都 会 友 生 变化 。 如 图 9.14 所 示 ， 为 最 终 的 Trident 中 DRPC 操 作 竺 和 bolt 的 映射 关系。 


意 “ 标 签 计数 ”和 “查询 请 求 ” 是 如 何 映射 到 同一 个 bolt 上 ， 并 且 相 应 地 调整 了 命名 。 好 吧 ， 那 些 未 命名 的 bolt 又 怎么 办 
呢 ? 我 们 在 UI 中 的 bolt 区 域 可 以 看 到 ， 部 分 组 件 的 命名 和 spout 一 样 ， 原 因 是 Storm 是 在 一 个 bolt 中 运行 Trident 的 spout。 请 记 
住 ， i Trident 拓 扑 拥有 多 种 协调 器 ， 可 以 将 传 入 的 流 数 据 以 批量 数据 的 方式 处 
理 对 待 ， 引 入 后 ， 基 于 我 们 添加 的 DRPC spout 来 实现 拓扑 上 的 映射 处 理 。 


Trident spout 


b-1 


LOd 要 
Sanitizer 
Deseriallizer 
project project split-1ist 
artist title tags 
PD] 
tag 
groupBy 
tag 


persistent persistent persistent 
Aggregate Aggregate Aggregate 

TridentSsState TridentSsState TridentSstate 
ArtistCounts TitleCounts TagCounts 


图 9.14 ”Trident 和 DRPC 数 据 流 以 及 操作 符 是 如 何 最 终 映 射 至 bolt 的 


DRPC spout 


b-5 
SplitOnDelimiter 
RequestForTagCounts 


groupBy 
title 


GEOUDBY 
artist 


stateQuery 


QueryForRequest 


标识 Storm 是 如 何 将 Trident 的 操作 符 映 射 至 Storm 的 原生 组 件 很 容易 ， 只 需要 几 行 代码 。 另 外 自 定义 命名 很 重要 ， 它 可 以 
为 你 减少 大 量 不 必要 的 麻烦 。 现 在 ， 你 已 经 了 解 了 如 何 通 过 自 定义 命名 和 查看 Storm UI 的 方式 了 解 Storm 组 件 和 Trident 操 作答 
的 映射 关系 ， 接 下 来 我 们 将 把 注意 力 转 到 本 章 的 最 后 一 个 话题 : 对 Trident 拓 扑 实 现 扩 展 。 


9.7 扩展 一 个 Trident 拓 站 


先 回忆 一 下 并 行 性 ， 当 在 使 用 bolt 和 spout 时 ， 我 们 需要 和 执行 器 和 任务 打交道 ， 那 么 它们 实际 上 就 构成 组 件 之 间 的 主要 桥 
梁 ， 也 就 是 并 行 性 。 在 使 用 Trident 时 ， 我 们 仍然 需要 它们 ， 只 是 从 另 一 个 角度 将 Trident 的 操作 映射 到 这 些 原 语 中 。 那 么 在 
Trident 中 ， 我 们 用 于 构建 并 行 性 的 手段 ， 就 是 分 区 (partition) 。 


9.7.1 ”实现 并 行 性 的 分 区 


在 使 用 Trident 时 ， 我 们 可 以 通过 对 数据 流 进行 分 区 ， 并 在 每 个 分 区 上 并 行 应 用 我 们 的 操作 符 ， 从 而 通过 一 个 或 多 个 工作 进 
程 来 完成 对 数据 流 的 处 理 。 如 果 我 们 的 拓扑 中 有 5 个 分 区 和 3 个 工作 进程 ， 那 么 其 中 的 工作 分 友 方 式 如 图 9.15 所 示 。 


和 Storm 不同 ， 那 里 的 并 行 性 是 在 一 系列 的 工作 进程 之 间 对 执行 器 做 工作 的 分 友 ， 而 在 这 里 ， 并 行 度 是 一 系列 的 工作 进程 之 
间 对 分 区 做 分 故 。 因 此 ， 我 们 如 果 要 对 Trident 拓 扑 实现 扩展 ， 其 实 是 对 分 区 数量 的 扩展 。 


工作 结 点 工作 结 点 工作 结 点 


图 9.15 ”分 区 被 分 发 至 Stotm 的 工作 进程 (JVM) 之 间 ， 但 可 以 平行 执行 


9.7.2 ”Trident 数 据 流 中 的 分 区 


我 们 先 从 Trident 的 spout 说 起 ， 一 个 Trident spout (和 Storm 的 spout 完 全 不 同 ) 将 会 发 射 一 个 数据 流 ， 并 在 上 面 应 用 一 系 
列 的 操作 符 。 该 数据 流 被 分 区 化 ， 以 便 能 为 拓扑 提供 并 行 度 。 同 时 Trident 将 根据 你 的 输入 吞吐 量 ， 将 这 些 分 区 流 分 解 成 一 系列 
的 批 次 数据 流 ， 每 个 批 次 可 能 包 合 数 干 个 元 组 ， 甚 至 数 百 万 个 元 组 。 如 图 9.16 所 示 ， 显 示 了 在 两 个 Storm 操 作答 ， 或 者 在 
Trident spout 和 第 一 个 Trident 操 作 符 之 间 的 Trident 数 据 流 放大 视图 。 


如 果 并 行 度 配 置 在 spout， 我 们 可 以 通过 调整 分 区 数 来 控制 并 行 度 ， 那 么 应 该 如 何 调整 spout 的 分 区 数量 呢 ? 我 们 可 以 调整 
订阅 的 Kafka topic 分 区 数 ， 但 如 果 我 们 的 Kafka topic 只 有 一 个 分 多， 那么 束 只 能 配置 拓扑 中 的 该 唯一 分 区 。 如 果 我 们 将 Kafka 
topic 的 分 区 增加 到 3 个 ， 那 么 Trident 拓 扑 中 的 分 区 数 将 被 相应 地 改变 ， 如 图 9.17 所 示 。 


在 这 里 ,我 们 拥有 3 个 分 区 的 数据 流 ， 可 以 通过 各 种 操作 符 实现 进一步 的 分 区 。 我 们 先 不 讨论 3 个 分 区 的 情况 ， 回 到 只 有 一 
个 分 区 的 情况 ， 因 为 在 这 种 情况 下 ， 更 容易 理解 Trident 折 扑 结构 中 的 并 行 性 配置 。 


在 Trident 拓 扑 中 ， 存 在 分 区 的 原生 分 割 点 (natural point) ， 这 些 分 割 点 也 是 基于 应 用 操作 符 的 结果 。 在 这 些 分 割 点 上 ， 
你 可 以 调整 每 个 分 区 的 并 行 度 。 我 们 在 拓扑 中 使 用 了 groupBy 操 作 符 来 重新 分 割 分 区 ， 而 且 每 个 groupBy 操 作 符 还 将 在 新 分 区 上 
应 用 一 个 并 行 性 ， 代 码 如 代码 清单 9.20 所 示 。 


Trident stream 


Trident stream 


分 区 1 
每 个 批 次 数据 可 以 
包含 数 千 个 元 组 ， 甚 分 区 2 
至 数 百 万 个 元 组 


分 区 3 


我 们 这 里 有 3 批 元 组 ， 每 批 元 组 都 分 布 
在 3 个 分 区 中 


图 9.16 ”两 个 操作 符 之 间 分 区 数据 流 的 批 次 数据 


Kafka topic Trident stream 


代理 节点 1 


代理 节点 2 


分 区 3 


分 区 1 


图 9.17 ”Kafka topic 的 分 区 以 及 和 Trident 数 据 流 中 分 区 的 关系 


程序 清单 9-20 ”在 重 分 区 中 应 用 并 行 性 


public static StormTopology build() { 
TridentTopology topology = new TridentTopology () :; 


Stream playSstream = 
topology.newStream("play-spout", buildSpout () ) 
.each (new Fields ("play-1og"), 
new LogDeserializer(), 


new Fields("artist", "title", "tags")) 
.each (new Fields ("artist", "title"), 
new Sanitizer(new Fields("artist", "title"))) 


.name ("LogDeserializerSanitizer");) 


TridentState countByArtist = playStream 

.project (new Fields ("artist")) 

.groupBy (new Fields ("artist")) 

.name ("ArtistCounts") 

.persistentAggregate (new MemoryMapState .Factory () ， 
new Count () ， 
new Fields("artist-count")) 

.ParallelismHint (4); 


TridentState countsByTitle = playSstream 
.project (new Fields ("title")) 
.groupBy (new Fields ("title")) 
.name ("TitleCounts") 
.persistentAggregate (new MemoryMapState.Factory(), 
new Count () ， 
new Fields ("title-count")) 
.parallelismHint (4); 
TridentState countsByTag = playStream 
.each (new Fields ("tags") 
new ListSplitter!(), 
new Fields ("tag")) 
.project (new Fields ("tag")) 
.groupBy (new Fields ("tag")) 
.name ("TagCounts") 
.persistentAggregate (new MemoryMapState.Factory(), 
new Count () ， 
new Fields ("tag-count")) 
.parallelismHint (4),; 


topology.newDRPCStream("count-request-by-tag'") 
.name ("RequestForTagCounts") 
.each (new Fields ("args"), 
new SplitOonDelimiter(","), 
new Fields ("tag")) 
.groupBy (new Fields ("tag'")) 
.name ("QueryForRequest") 
.StateQuery (countsByTag, 
new Fields ("tag"), 
new MapGet () ， 
new Fields ("count"))., 


return topology.build().,; 


在 这 里 ， 我 们 为 每 三 个 bolt 都 应 用 四 个 并 行 性 ， 这 意味 着 它们 每 个 都 有 四 个 分 区 。 因 为 bolt 之 间 存 在 自然 分 割 点 ， 借 助 
groupBy 和 persistentAggregate 操 作 符 ， 我 们 可 以 直接 指定 一 个 特定 的 并 行 性 等 级 。 但 我 们 不 需要 向 前 两 个 bolt 指 定 任何 并 行 
性 ， 因 为 它们 之 间 不 具备 任何 继承 分 区 关系 ， 所 以 它们 和 spout 有 具备 同样 的 分 区 数 。 在 Storm Ul 中 查看 配置 的 详情 如 图 9.18 所 


个 \。 


Bolts (All time) 


Executors Tasks Emitted Transferred Capacity 
c A 
bo 中 


1d -eh 
| 


$spoutcoord-spoutO 
b-0-RequestForTagCounts 
b-1-TagCounts-QueryForRequest 


b-2-LogDeserializerSanitizer-ArtistCounts-LogDeserializerSanitizer- TitleCounts- 
LogDeserializerSanitizer- TagCounts 


b-3-ArtistCounts 
b-4 
b-5 
bD-6- 1itleCouNts 
S$POUtO 
图 9.18 ”对 Trident 拓 扑 上 的 groupBy 操 作 符 应 用 一 个 并 行 性 后 的 结果 
强制 重 分 区 


除了 由 groupBy 操 作 符 执行 分 区 调整 之 外 ， 我 们 还 可 以 强制 要 求 Trident 执 行 重新 分 区 的 操作 。 这 种 操作 将 导致 元 组 在 分 区 更 
改 时 ， 需 要 通过 网 络 来 进行 传输 ， 这 也 将 对 性 能 产生 负面 影响 。 所 以 要 避免 为 了 调整 并 行 性 而 直接 进行 重新 分 区 ， 除 非 你 能 够 验 


证 经 过 对 并 行 度 的 调整 ， 可 以 提升 总 体 的 吞吐 量 。 


这 项 是 Trident 的 详情 ， 和 希望 你 可 以 基于 对 前 八 章 知识 的 掌握 ， 人 在 本 章 中 对 它 有 足够 的 认识 。 也 和 希望 这 只 是 你 探索 storm 的 
开始 ， 我 们 也 期 竺 你 可 以 继续 优化 和 改进 学 到 的 这 些 知识 点 ， 用 来 解决 未 来 使 用 Storm 中 可 能 遇 到 的 任何 问题 。 


9.8 人 小结 


在 本 章 中 ， 你 学 到 了 
Trident 允 许 你 采取 “是 什么 ”的 方式 ,而 不 再 仅仅 是 “怎么 实现 ”来 完成 拓扑 设计 。 
Trident 使 用 操作 符 来 处 理 批量 的 元 组 ， 这 不 同 于 在 原生 Storm 是 对 单个 元 组 执行 操作 。 
. Kafka 是 一 个 分 布 式 的 消息 队列 突现， 与 Trident 在 分 区 之 间 进 行 批 量 元 组 操作 是 完美 匹配 的 。 
-Trident 操作 符 不 会 是 一 对 一 的 与 spout 和 bolt 映 射 ， 所 以 对 操作 符 做 自 定义 命名 很 重要 。 
` 相 比 较 Storm 拓 扑 计算 持久 化 状态 ，Storm 的 DRPC 是 一 种 更 有 效 的 分 布 式 状态 查询 方式 。 


` 扩展 Trident 拓 扑 与 扩展 原生 Storm 拓 扑 结 构 的 方式 完全 不 同 ， 它 采取 跨 分 区 的 方式 来 实现 ， 而 不 是 为 spout 和 bolt 创 建 额外 


的 实例 。 


编 后 记 


茶 喜 ， 你 已 经 完成 了 本 书 的 学 习 ， 接 下 来 何去何从 ”答案 取决 于 你 的 学 习 路 径 。 如 果 你 是 从 第 1 章 开 始 读 到 最 后 ， 那 么 我 们 
建议 你 尝试 部 署 一 套 目 己 的 折 扑 ， 并 回顾 各 个 章节 中 的 知识 ， 直 到 你 认为 目 己 “ 措 到 了 storm 的 门路 ”。 我 们 不 提倡 说 “去 精通 
Storm”， 因 为 不 确定 你 是 不 是 真 擎 握 了 它 。Storm 束 像 是 一 头 强大 且 难 以 皖 摸 的 野兽 ， 能 驾驭 它 真 不 是 一 件 轻 松 的 事情 。 


如 果 你 希望 采取 反复 练习 的 万 式 ， 不 断 地 尝试 ， 并 且 从 过 程 中 积 囚 更 丰富 的 知识 ， 那 么 希望 考虑 一 下 编 后 记 中 我 们 提出 的 建 
议 。 如 果 你 是 一 个 从 零 开 始 学 起 的 新 人 ， 不 用 担心 ， 因 为 当 你 真正 感受 到 对 Storm 有 所 入 门 时 ， 表 来 看 看 编 后 记 中 的 这 些 建议 ， 
兴 许 会 有 所 帮助 。 而 我 们 也 希望 这 些 建议 能 陪伴 你 放下 这 本 书 之 后 ， 继 续 在 学 习 和 掌握 Storm 的 旅程 中 前 进 。 


你 意识 到 你 不 知道 


我 们 已 经 在 生产 环境 中 使 用 了 很 长 一 段 时 间 storm 了 ， 但 依然 还 在 不 断 地 摸索 和 学 习 ， 所 以 当 你 皮 现 目 己 遇 到 了 一 个 陌生 的 
念 ， 这 一 定 是 很 正常 的 。 能 有 这 个 意识 歹 已 经 证 明 你 在 掌握 它 了 ， 所 以 运用 你 学 到 的 知识 去 尝试 突破 ， 被 Storm 的 概念 卡 住 是 
很 常见 的 事情 。 


甘 


我 们 没 办 法 在 本 书 中 带 括 Storm 的 每 个 细 证 ， 所 以 一 定 要 去 学 习 官 方 的 文档 ， 加 入 IRC 的 聊天 室 和 邮件 列表 ， 深 挖 更 多 的 细 
节 。3storm 是 一 个 不 断 演 变 的 项 目 ， 所 以 在 本 书 出 版 期 间 ， 它 应 该 不 止 上 发 布 一 个 迭代 版 本 了 。 如 果 你 是 在 商业 场景 中 使 用 
Storm， 那 么 务必 确保 目 己 的 知识 点 可 以 保持 持续 更 新 ， 以 下 这 些 建 议 供 你 参考 ， 用 于 维持 知识 升级 。 


* Yatn 中 的 Stotm。 


* Mesos 中 的 Storm。 


什么 是 Yarn? 什么 又 是 Mesos? 要 说 清楚 真 的 又 是 一 本 书 了 。 你 可 以 这 样 认为 ， 它 们 都 是 一 套 集 群 的 人 资 源 管 理 器 ， 人 允许 你 
在 上 面 分 享 Storm 的 集群 资源 ， 类 似 Hadoop 相 天 的 技术 内 容 ， 非 常 的 简洁 。 所 以 我 强烈 建议 ， 如 果 你 打算 在 生产 场景 中 部 署 一 
个 大 型 的 Storm 集 群 ， 一 定 要 经 常 去 查看 Yarn 和 Mesos， 看 看 上 面 是 人 否 有 什么 帮助 。 

量化 和 报表 


Storm 中 集成 的 量化 指标 非常 少 ， 但 我 们 预感 这 部 分 会 
AP1l， 人 允许 你 以 程序 或 脚本 来 实现 Storm UI 中 同样 的 信息 获取 。 对 于 自动 化 操作 或 者 场景 监控 ,这 是 一 个 相当 令 人 兴奋 的 消息 ， 


能 。 
Trident 更 难 驾 弘 


我 们 虽然 伦 了 整整 一 草 来 讨论 Trident， 但 涉及 Trident 的 各 种 异议 和 问题 ， 可 能 远 不 止 几 个 章节 能 覆盖 的 ， 所 以 我 们 只 是 花 
了 一 章 来 引入 一 泽 Trident 的 概念。 为 什么 要 这 么 做 ” 那 是 因为 我 们 友 现 ， 想 完整 解释 Trident 没 有 问题 ， 但 你 在 学 习 Storm 的 时 
候 ， 其 实 完全 不 需要 去 接触 Trident， 因 为 它 并 不 是 Storm 的 一 个 核心 概念 和 组 件 ， 而 只 是 基于 Storm 构 建 的 一 种 典型 抽 缚 类 架 
构 ( 稍 后 骨 详 细 和 解释) 。 即 使 真 的 很 重要 ， 在 早期 审阅 本 书 的 时 候 ， 几 乎 所 有 的 反馈 都 是 建议 仅 需 要 引入 Trident 的 概念 束 行 
了 ， 因 为 确实 太 过 庞大 难以 窗 羡 。 


我 们 其 实 考 虑 过 用 三 章 的 篇 幅 来 讨论 Trident， 就 像 我 们 在 Storm 的 核心 组 件 (从 第 2 章 到 第 4 章 ) 中 的 解释 方式 类 似 。 如 果 


我 们 写 的 这 本 书 是 天 于 Trident 的 ， 那 么 一 定 会 这 么 做 ， 但 实际 上 从 内 容 对 比 来 看 ， 它 和 目前 第 2 章 到 第 4 章 的 内 容 极其 重复 。 毕 
竟 Trident 在 本 质 上 融 是 一 个 基于 Storm 的 抽象 类 以 构 ， 所 以 我 们 只 伦 了 一 章 来 讨论 尼 ， 因 为 如 果 你 了 解 了 它 的 基本 概念 ， 其 他 
概念 都 是 相 类 似 的 。Trident 有 很 多 的 操作 符 是 我 们 没有 提 到 的 ， 但 它们 的 工作 方式 和 我 们 提 到 的 方式 基本 类 似 。 所 以 如 果 你 希 
望 在 方案 上 更 倾向 于 选择 Trident 而 不 是 storm， 我 们 觉得 提供 的 内 容 已 经 足够 支撑 你 的 判断 了 。 


什么 时 候 该 采用 Trident?” 
你 需要 在 合适 的 时 候 做 出 最 正确 的 选择 ， 相 比较 Storm ，Trident 增 加 了 更 高 的 复杂 度 。 在 Storm 中 ， 想 要 调试 系统 解决 问 


题 是 相对 来 说 比较 轻松 的 事情 ， 因 为 抽象 层 比较 少 ， 这 也 使 得 性 能 上 会 比 Trident 更 有 优势 。 如 果 你 更 关注 性 能 和 效率 ， 那 么 建 
议 你 选择 原生 Storm。 那 么 什么 时 候 才 需要 选择 Trident 呢 ? 


. 理解 “是 什么 ” 比 理解 “怎么 做 ”更 重要 。 


“ 你 的 一 些 算 法 在 Storm 中 可 能 很 难 实现 ， 但 采取 Trident 的 话 会 更 容易 映射 下 去 ， 所 以 如 果 你 需要 大 量 的 算法 ， 而且 在 Storm 


上 实现 还 会 带 来 大 量 的 维护 工作 ， 此 时 就 建议 选择 Trident。 
gi 需要 一 次 性 处 理 。 


: 在 第 4 章 中 ， 我 们 曾 提 到 一 次 性 处 理 的 实现 很 困难 ， 换 匈 话 来 说 几乎 不 可 能 。 但 这 样 的 说 法 并 不 合适 ， 因 为 只 有 不 可 能 的 
场景 ， 而 不 是 技术 本 向， 只 是 实现 上 的 难度 而 已 。Trident 可 以 帮助 你 创建 一 个 一 次 性 处 理 的 系统 ， 虽 然 你 也 可 以 使 用 原生 的 


Storm 来 实现 ,但 可 能 导致 更 多 的 工作 量 。 
` 你 需要 维护 状态 量 。 


当然， 你 也 可 以 通过 原生 Storm 来 实现 这 样 的 维护 ， 但 是 Trident 在 维护 状态 量 上 来 说 会 更 轻松 ， 因 为 DRPC 提 供 了 一 个 更 广 
便 快捷 的 方式 来 实现 状态 量 的 查询 。 如 果 你 的 工作 量 少量 来 自 于 数据 流水 线 ( 将 数据 从 输入 传输 到 输出 ， 然 后 将 该 输出 转 入 下 一 
个 数据 流水 线 ) ， 大 量 来 自 于 构建 数据 池 查 询 ， 那 么 Trident 和 DRPC 将 是 更 为 合适 的 方案 。 


抽象 ! 在 哪里 都 是 抽象 


Trident 并 不 是 唯一 应 用 在 Storm 上 的 抽象 架构 ， 翻 看 一 下 GitHub， 你 就 会 发 现 许 多 的 项 目 都 在 尝试 构建 于 Storm 之 上 。 老 
实说 ， 大 部 分 这 些 项 目 都 很 相似 ， 如 果 你 在 拍 扑 结构 上 构建 类 似 拓 扑 的 工作 绪 构 ， 也 可 以 创建 属于 你 上 自己 的 storm 抽象 以 构 ， 而 
上 且 你 自 定义 的 工作 流程 可 能 更 简洁 。 目 前 基于 Storm 构 建 比较 实用 的 抽象 架构 ， 可 以 查看 Twitter 的 用 户 
Algebird (https://github.com/twitter/algebird) 。 


Algebird 其 实 是 一 个 Scala 库 ， 人 允许 你 编写 可 以 “编译 ”并 在 Storm 或 者 Hadoop 上 运行 的 抽象 计算 代码 。 为 什么 这 很 酷 ? 
因为 你 可 以 对 各 种 算法 进行 编码 ， 并 且 在 批 处 理 和 流 数 据 的 上 下 文中 重复 调用 。 在 我 看 来 这 真 的 太 酷 了 ! 如 果 你 对 在 Storm 之 上 
构建 抽象 染 构 感 兴趣 ， 我 们 强烈 建议 你 查看 一 下 该 项 目 ， 你 一 定 可 以 从 中 学 到 很 多 东西 ， 即 使 你 不 需要 编写 任何 可 重复 调用 的 算 
法 。 


好 吧 ， 这 真 的 束 是 我 们 想 要 表达 的 全 部 内 容 ， 视 你 好 运 ， 我 们 能 为 你 做 的 到 此 结束 ! 


